Accurate Image Restoration with Attention Retractable Transformer

要約

近年、Transformerベースの画像復元ネットワークは、パラメータに依存しないグローバルな相互作用により、畳み込みニューラルネットワークと比較して有望な改善を達成している。計算コストを下げるために、既存の作品は一般的に自己注視の計算を非重複ウィンドウ内に制限している。しかし、トークンの各グループは常に画像の密集した領域からのものである。これは、トークンの相互作用が密な領域で抑制されるため、密な注意戦略であると考えられている。しかし、この方法では受容野が制限される可能性がある。この問題に対処するため、我々は画像復元のための注意引込変換器（Attention Retractable Transformer: ART）を提案し、ネットワーク内に密な注意モジュールと疎な注意モジュールの両方を提示する。疎な注意モジュールは、疎な領域からのトークンが相互作用することを可能にし、その結果、より広い受容野を提供する。さらに、密な注意モジュールと疎な注意モジュールを交互に適用することで、入力画像に対する格納可能な注意を提供しながら、Transformerの表現能力を大幅に向上させる。我々は、画像の超解像、ノイズ除去、JPEG圧縮アーチファクト除去タスクに関する広範な実験を行った。実験結果から、提案するARTは様々なベンチマークデータセットにおいて、定量的・視覚的に最先端手法を上回ることが検証された。また、コードとモデルを https://github.com/gladzhang/ART で提供している。

要約(オリジナル)

Recently, Transformer-based image restoration networks have achieved promising improvements over convolutional neural networks due to parameter-independent global interactions. To lower computational cost, existing works generally limit self-attention computation within non-overlapping windows. However, each group of tokens are always from a dense area of the image. This is considered as a dense attention strategy since the interactions of tokens are restrained in dense regions. Obviously, this strategy could result in restricted receptive fields. To address this issue, we propose Attention Retractable Transformer (ART) for image restoration, which presents both dense and sparse attention modules in the network. The sparse attention module allows tokens from sparse areas to interact and thus provides a wider receptive field. Furthermore, the alternating application of dense and sparse attention modules greatly enhances representation ability of Transformer while providing retractable attention on the input image.We conduct extensive experiments on image super-resolution, denoising, and JPEG compression artifact reduction tasks. Experimental results validate that our proposed ART outperforms state-of-the-art methods on various benchmark datasets both quantitatively and visually. We also provide code and models at https://github.com/gladzhang/ART.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL