Joint Learning Content and Degradation Aware Feature for Blind Super-Resolution

要約

ブラインド画像の超解像 (SR) で有​​望な結果を得るために、低解像度 (LR) 画像を利用してカーネルを予測し、SR のパフォーマンスを向上させる試みがいくつかありました。
ただし、これらの教師ありカーネル予測 (SKP) メソッドは、現実世界のブラー カーネルを利用できないため、実用的ではありません。
この問題を回避するためにいくつかの教師なし劣化予測 (UDP) メソッドが提案されていますが、劣化の埋め込みと SR 機能の間の \textit{inconsistency} はまだ挑戦的です。
劣化埋め込みと SR 機能の間の相関関係を調査することにより、コンテンツと劣化認識機能を一緒に学習することが最適であることがわかります。
この観察に基づいて、CDSR と呼ばれる Content and Degradation 認識 SR ネットワークが提案されています。
具体的には、CDSR には新たに確立された 3 つのモジュールが含まれています。
(2) Domain Query Attention ベースのモジュール (DQA) を使用して、矛盾を適応的に削減します。
(3) 冗長な情報を抑制することができる Codebook ベースの Space Compress モジュール (CSC)。
いくつかのベンチマークでの広範な実験により、提案された CDSR が既存の UDP モデルよりも優れており、最先端の SKP メソッドと比較しても、PSNR および SSIM で競争力のあるパフォーマンスを達成することが実証されています。

要約(オリジナル)

To achieve promising results on blind image super-resolution (SR), some attempts leveraged the low resolution (LR) images to predict the kernel and improve the SR performance. However, these Supervised Kernel Prediction (SKP) methods are impractical due to the unavailable real-world blur kernels. Although some Unsupervised Degradation Prediction (UDP) methods are proposed to bypass this problem, the \textit{inconsistency} between degradation embedding and SR feature is still challenging. By exploring the correlations between degradation embedding and SR feature, we observe that jointly learning the content and degradation aware feature is optimal. Based on this observation, a Content and Degradation aware SR Network dubbed CDSR is proposed. Specifically, CDSR contains three newly-established modules: (1) a Lightweight Patch-based Encoder (LPE) is applied to jointly extract content and degradation features; (2) a Domain Query Attention based module (DQA) is employed to adaptively reduce the inconsistency; (3) a Codebook-based Space Compress module (CSC) that can suppress the redundant information. Extensive experiments on several benchmarks demonstrate that the proposed CDSR outperforms the existing UDP models and achieves competitive performance on PSNR and SSIM even compared with the state-of-the-art SKP methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google