Feature Modulation Transformer: Cross-Refinement of Global Representation via High-Frequency Prior for Image Super-Resolution

要約

トランスフォーマーベースの手法は、長距離依存関係を効果的に抽出することにより、単一画像超解像度 (SISR) において顕著な可能性を示しています。
しかし、この分野における現在の研究のほとんどは、グローバルな情報を捕捉するための変圧器ブロックの設計を優先しており、有益であると考えられる高周波プリアーを組み込む重要性を見落としています。
私たちの研究では、一連の実験を行った結果、変換構造は低周波情報の捕捉には優れているものの、畳み込み構造に比べて高周波表現を構築する能力が限られていることがわかりました。
私たちが提案するソリューションであるクロスリファインメント適応機能変調トランス (CRAFT) は、畳み込み構造とトランス構造の両方の長所を統合しています。
これは、高周波情報を抽出するための高周波拡張残差ブロック (HFERB)、グローバル情報をキャプチャするためのシフト レクタングル ウィンドウ アテンション ブロック (SRWAB)、およびグローバル表現を洗練するためのハイブリッド フュージョン ブロック (HFB) の 3 つの主要なコンポーネントで構成されます。
。
複数のデータセットでの実験では、CRAFT が使用するパラメータが少ないにもかかわらず、最先端の手法よりも最大 0.29 dB 優れたパフォーマンスを発揮することが実証されました。
ソース コードは https://github.com/AVC2-UESC/CRAFT-SR.git で入手できます。

要約(オリジナル)

Transformer-based methods have exhibited remarkable potential in single image super-resolution (SISR) by effectively extracting long-range dependencies. However, most of the current research in this area has prioritized the design of transformer blocks to capture global information, while overlooking the importance of incorporating high-frequency priors, which we believe could be beneficial. In our study, we conducted a series of experiments and found that transformer structures are more adept at capturing low-frequency information, but have limited capacity in constructing high-frequency representations when compared to their convolutional counterparts. Our proposed solution, the cross-refinement adaptive feature modulation transformer (CRAFT), integrates the strengths of both convolutional and transformer structures. It comprises three key components: the high-frequency enhancement residual block (HFERB) for extracting high-frequency information, the shift rectangle window attention block (SRWAB) for capturing global information, and the hybrid fusion block (HFB) for refining the global representation. Our experiments on multiple datasets demonstrate that CRAFT outperforms state-of-the-art methods by up to 0.29dB while using fewer parameters. The source code will be made available at: https://github.com/AVC2-UESTC/CRAFT-SR.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google