KXNet: A Model-Driven Deep Neural Network for Blind Super-Resolution

要約

現在の深層学習ベースの方法は、ブラインド単一画像超解像 (SISR) タスクで有望なパフォーマンスを得ていますが、それらのほとんどは、主に多様なネットワーク アーキテクチャをヒューリスティックに構築することに重点を置いており、ぼかし間の物理生成メカニズムの明示的な埋め込みにはあまり重点を置いていません。
カーネルと高解像度 (HR) 画像。
この問題を軽減するために、KXNet と呼ばれるモデル駆動型のディープ ニューラル ネットワークをブラインド SISR 用に提案します。
具体的には、古典的な SISR モデルを解くために、シンプルでありながら効果的な反復アルゴリズムを提案します。
次に、関連する反復ステップを対応するネットワーク モジュールに展開することで、KXNet を自然に構築します。
提案された KXNet の主な特徴は、学習プロセス全体が、この SISR タスクの根底にある固有の物理メカニズムと完全かつ明示的に統合されていることです。
したがって、学習されたブラー カーネルには明確な物理パターンがあり、ブラー カーネルと HR 画像の間の相互反復プロセスは、KXNet が正しい方向に進化するようにしっかりと導くことができます。
合成データと実際のデータに関する広範な実験により、現在の代表的な最先端のブラインド SISR メソッドを超える、この方法の優れた精度と一般性が細かく実証されています。
コードは https://github.com/jiahong-fu/KXNet で入手できます。

要約(オリジナル)

Although current deep learning-based methods have gained promising performance in the blind single image super-resolution (SISR) task, most of them mainly focus on heuristically constructing diverse network architectures and put less emphasis on the explicit embedding of the physical generation mechanism between blur kernels and high-resolution (HR) images. To alleviate this issue, we propose a model-driven deep neural network, called KXNet, for blind SISR. Specifically, to solve the classical SISR model, we propose a simple-yet-effective iterative algorithm. Then by unfolding the involved iterative steps into the corresponding network module, we naturally construct the KXNet. The main specificity of the proposed KXNet is that the entire learning process is fully and explicitly integrated with the inherent physical mechanism underlying this SISR task. Thus, the learned blur kernel has clear physical patterns and the mutually iterative process between blur kernel and HR image can soundly guide the KXNet to be evolved in the right direction. Extensive experiments on synthetic and real data finely demonstrate the superior accuracy and generality of our method beyond the current representative state-of-the-art blind SISR methods. Code is available at: https://github.com/jiahong-fu/KXNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google