CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution

要約

連続画像表現の学習は、低解像度の入力から任意のスケールで高解像度の画像を再構築できるため、画像の超解像 (SR) で最近人気が高まっています。
既存の方法は、主に近くの特徴をアンサンブルして、SR 画像内のクエリされた座標で新しいピクセルを予測します。
このようなローカル アンサンブルには、いくつかの制限があります。i) 学習可能なパラメーターがなく、視覚的特徴の類似性が無視されます。
ii) 受容野が限られており、画像で重要な関連する特徴を大きな野原に集めることができない。
iii) 座標のみに依存するため、実際のカメラ イメージングとは本質的にギャップがあります。
これらの問題に対処するために、この論文では、CiaoSR と呼ばれる継続的な暗黙的注意中ネットワークを提案します。
暗黙的な注意ネットワークを明示的に設計して、近くの局所特徴のアンサンブルの重みを学習します。
さらに、追加の非ローカル情報を活用するために、この暗黙的な注意ネットワークにスケール認識注意を埋め込みます。
ベンチマーク データセットでの広範な実験では、CiaoSR が同じバックボーンを使用する既存の単一画像超解像 (SISR) メソッドよりも大幅に優れていることが示されています。
さらに、提案された方法は、任意規模の SR タスクで最先端のパフォーマンスも実現します。
この方法の有効性は、実際の SR 設定でも実証されています。
さらに重要なことは、CiaoSR を任意のバックボーンに柔軟に統合して、SR のパフォーマンスを向上させることができることです。

要約(オリジナル)

Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image; iii) it inherently has a gap with real camera imaging since it only depends on the coordinate. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image super resolution (SISR) methods with the same backbone. In addition, the proposed method also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google