Unsupervised Learning of the Total Variation Flow

要約

トータル バリエーション (TV) フローは、TV 関数に基づいて画像のスケール空間表現を生成します。
この勾配フローにより、シャープなエッジなどの画像に望ましい特徴が観察され、スペクトル、スケール、およびテクスチャ分析が可能になります。
テレビの流れを解決するのは困難です。
理由の 1 つは、部分勾配が一意でないことです。
TV フローに対する標準的な数値アプローチでは、複数の非滑らかな最適化問題を解決する必要があります。
最先端の凸最適化技術を使用したとしても、これは法外に高価であることが多く、代替のより高速なアプローチを使用する動機が強くなります。
物理情報ニューラル ネットワーク (PINN) のフレームワークに触発され、それを拡張して、初期画像と時間インスタンスが与えられた TV フローの解を近似する、教師なしニューラル ネットワーク アプローチである TVflowNET を提案します。
TVflowNET はグラウンド トゥルース データを必要としませんが、代わりに PDE を利用してネットワーク パラメータを最適化します。
関連する拡散率項をさらに学習することで、部分勾配の非一意性に関連する課題を回避します。
私たちのアプローチは計算時間を大幅に短縮し、TVflowNET がさまざまな画像サイズや画像タイプに対して高い忠実度で TV フロー ソリューションを近似することを示します。
さらに、さまざまなネットワーク アーキテクチャ設計とトレーニング体制を完全に比較して、アプローチの有効性を強調します。

要約(オリジナル)

The total variation (TV) flow generates a scale-space representation of an image based on the TV functional. This gradient flow observes desirable features for images, such as sharp edges and enables spectral, scale, and texture analysis. Solving the TV flow is challenging; one reason is the the non-uniqueness of the subgradients. The standard numerical approach for TV flow requires solving multiple non-smooth optimisation problems. Even with state-of-the-art convex optimisation techniques, this is often prohibitively expensive and strongly motivates the use of alternative, faster approaches. Inspired by and extending the framework of physics-informed neural networks (PINNs), we propose the TVflowNET, an unsupervised neural network approach, to approximate the solution of the TV flow given an initial image and a time instance. The TVflowNET requires no ground truth data but rather makes use of the PDE for optimisation of the network parameters. We circumvent the challenges related to the non-uniqueness of the subgradients by additionally learning the related diffusivity term. Our approach significantly speeds up the computation time and we show that the TVflowNET approximates the TV flow solution with high fidelity for different image sizes and image types. Additionally, we give a full comparison of different network architecture designs as well as training regimes to underscore the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google