Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution

要約

画像の超解像のために多数のソリューションが提案されていますが、それらは通常、多くの計算およびメモリの制約がある低電力デバイスと互換性がありません。
この論文では、画像の超解像を効率的に解決するためのシンプルで効果的なディープネットワークを提案することにより、この問題に対処します。
詳細には、ビジョン トランス (ViT) のようなブロックに空間適応機能変調 (SAFM) メカニズムを開発します。
その中で、最初に SAFM ブロックを入力フィーチャに適用して、代表的なフィーチャ表現を動的に選択します。
SAFM ブロックが長期的な観点から入力機能を処理するとき、さらに畳み込みチャネル ミキサー (CCM) を導入して、ローカル コンテキスト情報を同時に抽出し、チャネル ミキシングを実行します。
広範な実験結果は、提案された方法が最先端の効率的な SR 方法 (IMDN など) よりも $3\times$ 小さく、同等のパフォーマンスを達成しながら必要な計算コストが少ないことを示しています。
コードは https://github.com/sunny2109/SAFMN で入手できます。

要約(オリジナル)

Although numerous solutions have been proposed for image super-resolution, they are usually incompatible with low-power devices with many computational and memory constraints. In this paper, we address this problem by proposing a simple yet effective deep network to solve image super-resolution efficiently. In detail, we develop a spatially-adaptive feature modulation (SAFM) mechanism upon a vision transformer (ViT)-like block. Within it, we first apply the SAFM block over input features to dynamically select representative feature representations. As the SAFM block processes the input features from a long-range perspective, we further introduce a convolutional channel mixer (CCM) to simultaneously extract local contextual information and perform channel mixing. Extensive experimental results show that the proposed method is $3\times$ smaller than state-of-the-art efficient SR methods, e.g., IMDN, in terms of the network parameters and requires less computational cost while achieving comparable performance. The code is available at https://github.com/sunny2109/SAFMN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google