Kernelized Back-Projection Networks for Blind Super Resolution

要約

非ブラインド超解像度 (SR) は、任意の劣化によって劣化した低解像度 (LR) 画像を超解像することができないため、劣化モデルを備えた SR が必要です。
しかし、この論文では、さまざまなブラー カーネルを使用して単純にトレーニングされた非ブラインド SR は、ブラインド SR の劣化モデルと同等のパフォーマンスを示すことが明らかになりました。
この結果は、高性能のノンブラインド SR を再検討し、それをブラー カーネルを備えたブラインド SR に拡張する動機となります。
この論文では、カーネル推定と SR ブランチを反復的なエンドツーエンド方式で統合することにより、2 つの SR ネットワークを提案します。
最初のモデルはカーネル条件付き逆投影ネットワーク (KCBPN) と呼ばれ、SR ブランチを条件付けするために低次元のカーネル表現が推定されます。
2 番目のモデルである Kernelized BackProjection Network (KBPN) では、生のカーネルが推定され、画像劣化のモデル化に直接使用されます。
推定されたカーネルは、残差を逆伝播するためだけでなく、残差を反復ステージに順伝播するためにも使用されます。
この順伝播により、各ステージで残差が大きいピクセルに焦点を当てることにより、これらのステージがさまざまなステージでさまざまな特徴を学習することが促進されます。
実験結果は、カーネル推定と SR に対する提案したネットワークの有効性を検証します。
本作のコードを公開いたします。

要約(オリジナル)

Since non-blind Super Resolution (SR) fails to super-resolve Low-Resolution (LR) images degraded by arbitrary degradations, SR with the degradation model is required. However, this paper reveals that non-blind SR that is trained simply with various blur kernels exhibits comparable performance as those with the degradation model for blind SR. This result motivates us to revisit high-performance non-blind SR and extend it to blind SR with blur kernels. This paper proposes two SR networks by integrating kernel estimation and SR branches in an iterative end-to-end manner. In the first model, which is called the Kernel Conditioned Back-Projection Network (KCBPN), the low-dimensional kernel representations are estimated for conditioning the SR branch. In our second model, the Kernelized BackProjection Network (KBPN), a raw kernel is estimated and directly employed for modeling the image degradation. The estimated kernel is employed not only for back-propagating its residual but also for forward-propagating the residual to iterative stages. This forward-propagation encourages these stages to learn a variety of different features in different stages by focusing on pixels with large residuals in each stage. Experimental results validate the effectiveness of our proposed networks for kernel estimation and SR. We will release the code for this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google