Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution

要約

ディープラーニングの発展に伴い、単一画像超解像（SISR）は大きなブレークスルーを達成している。近年、グローバルな特徴相互作用に基づくSISRネットワークの性能を向上させる方法が提案されている。しかし、文脈に応じて動的に機能を調整する必要があるニューロンの能力は無視されている。この問題を解決するために、我々は畳み込みニューラルネットワーク(CNN)とトランスフォーマーからなるハイブリッドネットワークである軽量なCross-receptive Focused Inference Network (CFIN)を提案する。具体的には、新しいCross-receptive Field Guide Transformer (CFGT)は、局所的な代表的意味情報を組み合わせた変調畳み込みカーネルを用いて、ネットワークの重みを適応的に修正するように設計されている。さらに、CNNに基づくCross-scale Information Aggregation Module (CIAM)を提案し、潜在的に実用的な情報により焦点を当て、Transformerステージの効率性を向上させる。広範な実験により、提案するCFINは軽量で効率的なSISRモデルであり、計算コストとモデル性能の良好なバランスを達成できることが示された。

要約(オリジナル)

With the development of deep learning, single image super-resolution (SISR) has achieved significant breakthroughs. Recently, methods to enhance the performance of SISR networks based on global feature interactions have been proposed. However, the capabilities of neurons that need to adjust their function in response to the context dynamically are neglected. To address this issue, we propose a lightweight Cross-receptive Focused Inference Network (CFIN), a hybrid network composed of a Convolutional Neural Network (CNN) and a Transformer. Specifically, a novel Cross-receptive Field Guide Transformer (CFGT) is designed to adaptively modify the network weights by using modulated convolution kernels combined with local representative semantic information. In addition, a CNN-based Cross-scale Information Aggregation Module (CIAM) is proposed to make the model better focused on potentially practical information and improve the efficiency of the Transformer stage. Extensive experiments show that our proposed CFIN is a lightweight and efficient SISR model, which can achieve a good balance between computational cost and model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL