NeurTV: Total Variation on the Neural Domain

要約

最近、多くのイメージング アプリケーションでトータル バリエーション (TV) が成功しているのを目の当たりにしました。
ただし、従来の TV は元のピクセル ドメインで定義されているため、その可能性が制限されています。
この研究では、ニューラル ドメインで定義された新しい TV 正則化を提案します。
具体的には、離散データはディープ ニューラル ネットワーク (DNN) によって暗黙的かつ連続的に表現され、DNN 出力の導関数を使用します。
データの局所的な相関関係を取得するための入力座標。
元のドメインの古典的な TV と比較して、ニューラル ドメインで提案された TV (NeurTV と呼ばれる) には次の利点があります。
まず、NeurTV には、離散差分演算子によって引き起こされる離散化エラーがありません。
第 2 に、NeurTV はメッシュグリッドに限定されず、メッシュグリッド データと非メッシュグリッド データの両方に適しています。
第三に、NeurTV は、ニューラル ドメインの暗黙的かつ連続的な性質に起因する導関数のあらゆる方向および次数のデータにわたる局所的な相関をより正確にキャプチャできます。
私たちは、変分近似フレームワークの下で NeurTV を理論的に再解釈します。これにより、NeurTV と古典的な TV の間の接続を構築することができ、バリアント (空間バリアント NeurTV など) の開発を促すことができます。
メッシュグリッド データ (カラー画像やハイパースペクトル画像など) と非メッシュグリッド データ (点群や空間トランスクリプトミクスなど) を使用した広範な数値実験により、提案された方法の有効性が実証されています。

要約(オリジナル)

Recently, we have witnessed the success of total variation (TV) for many imaging applications. However, traditional TV is defined on the original pixel domain, which limits its potential. In this work, we suggest a new TV regularization defined on the neural domain. Concretely, the discrete data is implicitly and continuously represented by a deep neural network (DNN), and we use the derivatives of DNN outputs w.r.t. input coordinates to capture local correlations of data. As compared with classical TV on the original domain, the proposed TV on the neural domain (termed NeurTV) enjoys the following advantages. First, NeurTV is free of discretization error induced by the discrete difference operator. Second, NeurTV is not limited to meshgrid but is suitable for both meshgrid and non-meshgrid data. Third, NeurTV can more exactly capture local correlations across data for any direction and any order of derivatives attributed to the implicit and continuous nature of neural domain. We theoretically reinterpret NeurTV under the variational approximation framework, which allows us to build the connection between NeurTV and classical TV and inspires us to develop variants (e.g., space-variant NeurTV). Extensive numerical experiments with meshgrid data (e.g., color and hyperspectral images) and non-meshgrid data (e.g., point clouds and spatial transcriptomics) showcase the effectiveness of the proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google