CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution

要約

タイトル：CiaoSR：連続的な暗黙のアテンションインアテンションネットワークを利用した任意スケールの画像超解像

要約：

– 連続的な画像表現の学習は、低解像度の入力から高解像度の画像を任意のスケールで再構成する能力から、近年、画像超解像において人気が高まっている。
– 既存の手法は、主に近くの特徴をアンサンブルして、SR画像の任意の座標で新しいピクセルを予測するために使用される。このようなローカルアンサンブルにはいくつかの制限がある：i）学習可能なパラメータがなく、視覚的特徴の類似性を無視する；ii）受容野が限られており、画像で重要な大きなフィールドの関連する特徴をアンサンブルすることができない。
– これらの問題に対処するため、本論文では、暗黙のアテンションインアテージョンネットワークであるCiaoSRを提案している。近くのローカル特徴のアンサンブル重みを学習するために、明示的に暗黙のアテンションネットワークを設計している。さらに、この暗黙のアテンションネットワークにスケールに合わせたアテンションを埋め込んで、追加のノンローカル情報を活用する。
– ベンチマークデータセットでの広範な実験結果は、CiaoSRが同じバックボーンを持つ既存の単一画像SR手法を大幅に上回ることを示している。さらに、CiaoSRは任意スケールのSRタスクでも最先端の性能を発揮している。また、方法の有効性は、リアルワールドのSR設定でも実証されている。さらに重要なことに、CiaoSRは、任意のバックボーンに柔軟に統合して、SRパフォーマンスを改善することができる。

要約(オリジナル)

Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image SR methods with the same backbone. In addition, CiaoSR also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI