RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection

要約

参照画像超解像（RefSR）は、有望なSRの一分野であり、単一画像超解像の限界を克服する上で大きな可能性を示している。これまでの最新のRefSR手法は、主に参照特徴量転送の有効性と頑健性の向上に焦点を当てているが、よく再構成されたSR画像は、その類似したLR画像を参照する際に、より良いSR再構成を可能にするはずであることは一般に見落とされている。そこで、本研究では、このような事実を適切に利用してRefSRネットワークの学習を強化する相互学習フレームワークを提案する。さらに、RefSRタスクをさらに改善するために、漸進的な特徴量整列・選択モジュールを意図的に設計する。このモジュールは、参照入力画像をマルチスケール特徴空間で整列させ、参照を考慮した特徴選択を漸進的に行うことで、より正確な参照特徴を入力特徴に移し、ネットワークの能力を向上させる。我々の相互学習パラダイムはモデルに依存せず、任意のRefSRモデルに適用することが可能である。我々は経験的に、複数の最新のRefSRモデルが我々の相互学習パラダイムによって一貫して改善されることを示す。さらに、我々の提案するモデルと相互学習ストラテジーを組み合わせることで、複数のベンチマークにおいて新たな最先端性能を達成することができる。

要約(オリジナル)

Reference-based image super-resolution (RefSR) is a promising SR branch and has shown great potential in overcoming the limitations of single image super-resolution. While previous state-of-the-art RefSR methods mainly focus on improving the efficacy and robustness of reference feature transfer, it is generally overlooked that a well reconstructed SR image should enable better SR reconstruction for its similar LR images when it is referred to as. Therefore, in this work, we propose a reciprocal learning framework that can appropriately leverage such a fact to reinforce the learning of a RefSR network. Besides, we deliberately design a progressive feature alignment and selection module for further improving the RefSR task. The newly proposed module aligns reference-input images at multi-scale feature spaces and performs reference-aware feature selection in a progressive manner, thus more precise reference features can be transferred into the input features and the network capability is enhanced. Our reciprocal learning paradigm is model-agnostic and it can be applied to arbitrary RefSR models. We empirically show that multiple recent state-of-the-art RefSR models can be consistently improved with our reciprocal learning paradigm. Furthermore, our proposed model together with the reciprocal learning strategy sets new state-of-the-art performances on multiple benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL