Kernelized Back-Projection Networks for Blind Super Resolution

要約

非ブラインドの超解像 (SR) は、任意の劣化によって劣化した低解像度 (LR) 画像を超解像できないため、劣化モデルを使用した SR が必要です。
ただし、この論文では、さまざまなぼかしカーネルで単純にトレーニングされた非ブラインド SR が、ブラインド SR の劣化モデルを使用したものと同等のパフォーマンスを示すことを明らかにしています。
この結果は、高性能の非ブラインド SR を再検討し、それをブラー カーネルを使用したブラインド SR に拡張する動機となります。
この論文では、カーネル推定とSRブランチを反復的なエンドツーエンドの方法で統合することにより、2つのSRネットワークを提案します。
Kernel Conditioned Back-Projection Network (KCBPN) と呼ばれる最初のモデルでは、SR 分岐を調整するために低次元カーネル表現が推定されます。
2 番目のモデルである Kernelized BackProjection Network (KBPN) では、生のカーネルが推定され、画像の劣化をモデル化するために直接使用されます。
推定されたカーネルは、残差を逆伝播するだけでなく、残差を反復ステージに順伝播するためにも使用されます。
この順伝播は、これらのステージが、各ステージで大きな残差を持つピクセルに焦点を当てることによって、さまざまなステージでさまざまな異なる機能を学習することを促進します。
実験結果は、カーネル推定とSRに対する提案されたネットワークの有効性を検証します。
この作品のコードを公開します。

要約(オリジナル)

Since non-blind Super Resolution (SR) fails to super-resolve Low-Resolution (LR) images degraded by arbitrary degradations, SR with the degradation model is required. However, this paper reveals that non-blind SR that is trained simply with various blur kernels exhibits comparable performance as those with the degradation model for blind SR. This result motivates us to revisit high-performance non-blind SR and extend it to blind SR with blur kernels. This paper proposes two SR networks by integrating kernel estimation and SR branches in an iterative end-to-end manner. In the first model, which is called the Kernel Conditioned Back-Projection Network (KCBPN), the low-dimensional kernel representations are estimated for conditioning the SR branch. In our second model, the Kernelized BackProjection Network (KBPN), a raw kernel is estimated and directly employed for modeling the image degradation. The estimated kernel is employed not only for back-propagating its residual but also for forward-propagating the residual to iterative stages. This forward-propagation encourages these stages to learn a variety of different features in different stages by focusing on pixels with large residuals in each stage. Experimental results validate the effectiveness of our proposed networks for kernel estimation and SR. We will release the code for this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google