GRFormer: Grouped Residual Self-Attention for Lightweight Single Image Super-Resolution

要約

これまでの研究では、トランスフォーマーベースの単一画像超解像度 (SISR) モデル (SwinIR など) のパラメーターのオーバーヘッドと計算を削減すると、通常、パフォーマンスの低下につながることが示されています。
この論文では、パラメーターのオーバーヘッドと計算を削減するだけでなく、パフォーマンスを大幅に向上させる、効率的で軽量なメソッドである GRFormer を紹介します。
GRFormer の中核はグループ化残存自己注意 (GRSA) であり、特に 2 つの基本コンポーネントを指向しています。
まず、セルフアテンションのクエリ、キー、値 (QKV) 線形レイヤーを置き換える新しいグループ化残差レイヤー (GRL) が導入され、パラメーターのオーバーヘッド、計算、およびパフォーマンス損失を同時に効率的に削減することを目的としています。
次に、元の相対位置バイアスの代わりにコンパクトな指数空間相対位置バイアス (ES-RPB) を統合し、パラメータ数をさらに最小限に抑えながら位置情報を表現する能力を向上させます。
広範な実験結果により、GRFormer は $\times$2、$\times$3、$\times$4 の SISR タスクに関して最先端のトランスフォーマーベースの手法よりも優れたパフォーマンスを示し、特に、
DIV2K データセットでは、セルフ アテンション モジュールのみでパラメータと MAC の数がそれぞれ約 \textbf{60\%} と \textbf{49\% } 削減されます。
ウィンドウ分割自己注意に基づいて SR モデルに簡単に適用できるシンプルで効果的な手法が、画像超解像のさらなる研究に有用なツールとして役立つことを願っています。
コードは \url{https://github.com/sisrformer/GRFormer} で入手できます。

要約(オリジナル)

Previous works have shown that reducing parameter overhead and computations for transformer-based single image super-resolution (SISR) models (e.g., SwinIR) usually leads to a reduction of performance. In this paper, we present GRFormer, an efficient and lightweight method, which not only reduces the parameter overhead and computations, but also greatly improves performance. The core of GRFormer is Grouped Residual Self-Attention (GRSA), which is specifically oriented towards two fundamental components. Firstly, it introduces a novel grouped residual layer (GRL) to replace the Query, Key, Value (QKV) linear layer in self-attention, aimed at efficiently reducing parameter overhead, computations, and performance loss at the same time. Secondly, it integrates a compact Exponential-Space Relative Position Bias (ES-RPB) as a substitute for the original relative position bias to improve the ability to represent position information while further minimizing the parameter count. Extensive experimental results demonstrate that GRFormer outperforms state-of-the-art transformer-based methods for $\times$2, $\times$3 and $\times$4 SISR tasks, notably outperforming SOTA by a maximum PSNR of 0.23dB when trained on the DIV2K dataset, while reducing the number of parameter and MACs by about \textbf{60\%} and \textbf{49\% } in only self-attention module respectively. We hope that our simple and effective method that can easily applied to SR models based on window-division self-attention can serve as a useful tool for further research in image super-resolution. The code is available at \url{https://github.com/sisrformer/GRFormer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google