VDIP-TGV: Blind Image Deconvolution via Variational Deep Image Prior Empowered by Total Generalized Variation

要約

未知のブラー カーネルを使用してぼやけた画像から鮮明な画像を回復することは、困難な問題です。
ディープ イメージ プリア (DIP) は、ディープ ネットワークを教師ありモデルとしてではなく、単一画像の正則化器として使用することを提案しています。これにより、非ブラインドぼけ除去問題で有望な結果が得られます。
ただし、画像とネットワーク アーキテクチャの関係が不明瞭であるため、推定されたブラー カーネルとクリーンな画像に十分な制約を与える適切なアーキテクチャを見つけるのは困難です。
また、DIP はスパース最大事後確率 (MAP) を使用しますが、これはリカバリ イメージの選択を強制するには不十分です。
最近、ブラー カーネルと回復画像の両方に制約を課し、変分原理による最適化プロセス中に画像の標準偏差を考慮する変分ディープ イメージ プリア (VDIP) が提案されました。
ただし、ブラー カーネルが大きい場合、VDIP は画像の詳細を処理するのに苦労し、次善の結果を生成する傾向があることが経験的にわかっています。
したがって、この論文では、VDIP のこれらの欠点を克服するために、全一般化変分 (TGV) 正則化を VDIP と組み合わせます。
TGV は、さまざまな次数の偏導関数の特性を利用して、さまざまなスケールで画像を正規化し、シャープなエッジを維持しながら油絵のアーティファクトを軽減する柔軟な正規化です。
提案された VDIP-TGV は、TGV を通じて追加の勾配情報を補完することにより、画像のエッジとディテールを効果的に回復します。
さらに、このモデルは、従来のアルゴリズムと深層学習手法を効果的に組み合わせた乗算器の交互方向法 (ADMM) によって解決されます。
実験により、私たちが提案した VDIP-TGV がさまざまな最先端モデルを量的および質的に上回ることが示されました。

要約(オリジナル)

Recovering clear images from blurry ones with an unknown blur kernel is a challenging problem. Deep image prior (DIP) proposes to use the deep network as a regularizer for a single image rather than as a supervised model, which achieves encouraging results in the nonblind deblurring problem. However, since the relationship between images and the network architectures is unclear, it is hard to find a suitable architecture to provide sufficient constraints on the estimated blur kernels and clean images. Also, DIP uses the sparse maximum a posteriori (MAP), which is insufficient to enforce the selection of the recovery image. Recently, variational deep image prior (VDIP) was proposed to impose constraints on both blur kernels and recovery images and take the standard deviation of the image into account during the optimization process by the variational principle. However, we empirically find that VDIP struggles with processing image details and tends to generate suboptimal results when the blur kernel is large. Therefore, we combine total generalized variational (TGV) regularization with VDIP in this paper to overcome these shortcomings of VDIP. TGV is a flexible regularization that utilizes the characteristics of partial derivatives of varying orders to regularize images at different scales, reducing oil painting artifacts while maintaining sharp edges. The proposed VDIP-TGV effectively recovers image edges and details by supplementing extra gradient information through TGV. Additionally, this model is solved by the alternating direction method of multipliers (ADMM), which effectively combines traditional algorithms and deep learning methods. Experiments show that our proposed VDIP-TGV surpasses various state-of-the-art models quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google