Omni Aggregation Networks for Lightweight Image Super-Resolution

要約

タイトル：Omni Aggregation Networks for Lightweight Image Super-Resolution

要約：
– 軽量なViTフレームワークは、画像の超解像度においても大きな進歩を遂げているが、一次元の自己注意モデルと均一な集約スキームにより、有効な受容野（ERF）は空間的およびチャネルの両方の次元からより包括的な相互作用を含めることが制限されている。
– これらの欠点を克服するために、この研究では、新しいOmni-SRアーキテクチャの下で2つの強化されたコンポーネントが提案されている。
– まず、密な相互作用の原理に基づいてOmni Self-Attention（OSA）ブロックを提案し、同時に空間およびチャネルの両方の次元からピクセル間相互作用をモデル化し、オムニ軸（つまり、空間およびチャネル）を横断する潜在的な相関を掘り起こすことができる。主流のウィンドウ分割戦略と結合することで、OSAは魅力的な計算予算で優れた性能を実現できる。
– 2つ目に、浅いモデルにおけるサブオプティマルなERF（つまり、早期の飽和）を緩和するために、多段階相互作用スキームが提案されており、局所伝播と中・大規模の相互作用を促進し、オムニスケールの集約ビルディングブロックを作成する。
– 広範な実験により、Omni-SRが軽量な超解像度ベンチマーク（たとえば、792KパラメーターのみでUrban100×4で26.95 dB）で記録的な高性能を発揮することが示された。我々のコードは\url{https://github.com/Francis0625/Omni-SR}で利用可能である。

要約(オリジナル)

While lightweight ViT framework has made tremendous progress in image super-resolution, its uni-dimensional self-attention modeling, as well as homogeneous aggregation scheme, limit its effective receptive field (ERF) to include more comprehensive interactions from both spatial and channel dimensions. To tackle these drawbacks, this work proposes two enhanced components under a new Omni-SR architecture. First, an Omni Self-Attention (OSA) block is proposed based on dense interaction principle, which can simultaneously model pixel-interaction from both spatial and channel dimensions, mining the potential correlations across omni-axis (i.e., spatial and channel). Coupling with mainstream window partitioning strategies, OSA can achieve superior performance with compelling computational budgets. Second, a multi-scale interaction scheme is proposed to mitigate sub-optimal ERF (i.e., premature saturation) in shallow models, which facilitates local propagation and meso-/global-scale interactions, rendering an omni-scale aggregation building block. Extensive experiments demonstrate that Omni-SR achieves record-high performance on lightweight super-resolution benchmarks (e.g., 26.95 dB@Urban100 $\times 4$ with only 792K parameters). Our code is available at \url{https://github.com/Francis0625/Omni-SR}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI