NeurTV: Total Variation on the Neural Domain

要約

最近、多くのイメージング アプリケーションでトータル バリエーション (TV) が成功しているのを目の当たりにしました。
ただし、従来の TV は元のピクセル ドメインで定義されているため、その可能性が制限されています。
この研究では、ニューラル ドメインで定義された新しい TV 正則化を提案します。
具体的には、離散データはディープ ニューラル ネットワーク (DNN) によって継続的かつ暗黙的に表現され、DNN 出力の導関数を使用します。
データの局所的な相関関係を取得するための入力座標。
元のドメインの古典的な TV と比較して、ニューラル ドメインで提案された TV (NeurTV と呼ばれる) には 2 つの利点があります。
まず、NeurTV はメッシュグリッドに限定されず、メッシュグリッド データと非メッシュグリッド データの両方に適しています。
第 2 に、NeurTV は、ニューラル ドメインの暗黙的かつ連続的な性質に起因する導関数の任意の方向および次数のデータにわたる局所的な相関をより正確にキャプチャできます。
私たちは、変分近似フレームワークの下で NeurTV を理論的に再解釈します。これにより、古典的な TV と NeurTV の間の接続を構築することができ、派生型 (たとえば、任意の解像度を持つ NeurTV や空間変型 NeurTV) の開発を促すことができます。
メッシュグリッド データ (カラー画像やハイパースペクトル画像など) と非メッシュグリッド データ (点群や空間トランスクリプトミクスなど) を使用した広範な数値実験により、提案された方法の有効性が示されています。

要約(オリジナル)

Recently, we have witnessed the success of total variation (TV) for many imaging applications. However, traditional TV is defined on the original pixel domain, which limits its potential. In this work, we suggest a new TV regularization defined on the neural domain. Concretely, the discrete data is continuously and implicitly represented by a deep neural network (DNN), and we use the derivatives of DNN outputs w.r.t. input coordinates to capture local correlations of data. As compared with classical TV on the original domain, the proposed TV on the neural domain (termed NeurTV) enjoys two advantages. First, NeurTV is not limited to meshgrid but is suitable for both meshgrid and non-meshgrid data. Second, NeurTV can more exactly capture local correlations across data for any direction and any order of derivatives attributed to the implicit and continuous nature of neural domain. We theoretically reinterpret NeurTV under the variational approximation framework, which allows us to build the connection between classical TV and NeurTV and inspires us to develop variants (e.g., NeurTV with arbitrary resolution and space-variant NeurTV). Extensive numerical experiments with meshgrid data (e.g., color and hyperspectral images) and non-meshgrid data (e.g., point clouds and spatial transcriptomics) showcase the effectiveness of the proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google