Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution

要約

CNN ベースの方法と比較して、Transformer ベースの方法は、リモートの依存関係をモデル化する機能により、優れた画像復元結果を実現します。
ただし、Transformer ベースの方法をブラインド超解像 (SR) の分野に適用し、さらに SR ネットワークを劣化情報に適応させる方法はまだ未解決の問題です。
この論文では、新しい劣化を意識した自己注意ベースの Transformer モデルを提案します。このモデルでは、未知のノイズを持つ入力画像の劣化表現を学習するために、Transformer ネットワークに対照学習を組み込みます。
特に、CNN と Transformer コンポーネントの両方を SR ネットワークに統合します。そこでは、最初に劣化情報によって変調された CNN を使用してローカル特徴を抽出し、次に劣化を認識する Transformer を使用してグローバル セマンティック特徴を抽出します。
私たちは、提案したモデルをいくつかの人気のある大規模ベンチマーク データセットにテスト用に適用し、既存の方法と比較して最先端のパフォーマンスを達成しました。
特に、私たちの方法では、$\times$2 スケールの Urban100 データセットで 32.43 dB の PSNR が得られ、DASR より 0.94 dB 高く、$\times$4 スケールの Urban100 データセットで 26.62 dB となり、KDSR より 0.26 dB 改善されます。
この分野の新しいベンチマーク。
ソース コードは https://github.com/I2-Multimedia-Lab/DSAT/tree/main から入手できます。

要約(オリジナル)

Compared to CNN-based methods, Transformer-based methods achieve impressive image restoration outcomes due to their abilities to model remote dependencies. However, how to apply Transformer-based methods to the field of blind super-resolution (SR) and further make an SR network adaptive to degradation information is still an open problem. In this paper, we propose a new degradation-aware self-attention-based Transformer model, where we incorporate contrastive learning into the Transformer network for learning the degradation representations of input images with unknown noise. In particular, we integrate both CNN and Transformer components into the SR network, where we first use the CNN modulated by the degradation information to extract local features, and then employ the degradation-aware Transformer to extract global semantic features. We apply our proposed model to several popular large-scale benchmark datasets for testing, and achieve the state-of-the-art performance compared to existing methods. In particular, our method yields a PSNR of 32.43 dB on the Urban100 dataset at $\times$2 scale, 0.94 dB higher than DASR, and 26.62 dB on the Urban100 dataset at $\times$4 scale, 0.26 dB improvement over KDSR, setting a new benchmark in this area. Source code is available at: https://github.com/I2-Multimedia-Lab/DSAT/tree/main.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google