Efficient Image Super-Resolution with Feature Interaction Weighted Hybrid Network

要約

軽量画像超解像度は、低い計算コストを使用して低解像度画像から高解像度画像を再構成することを目的としています。
ただし、既存の方法では、活性化関数により中間層の機能が失われます。
再構成品質に対する中間特徴損失の影響を最小限に抑えるために、バックボーンとして一連の Wide-residual Distillation Interaction Block (WDIB) で構成される特徴相互作用加重ハイブリッド ネットワーク (FIWHN) を提案します。
3 つおきの WDIB は、相互情報シャッフルと融合を適用することにより、機能シャッフル加重グループ (FSWG) を形成します。
さらに、中間特徴損失の悪影響を軽減するために、WDIB 内に Wide Residual Weighting Units を導入します。
これらのユニットは、広域残留蒸留接続 (WRDC) と自己校正フュージョン (SCF) を通じて、さまざまな詳細レベルの機能を効果的に融合します。
全体的な機能の欠陥を補うために、Transformer を組み込み、CNN と Transformer を組み合わせる新しいアーキテクチャを検討します。
低レベルタスクと高レベルタスクに関する広範な実験を通じて、FIWHN がパフォーマンスと効率の好ましいバランスを達成していることを示します。
コードは \url{https://github.com/IVIPLab/FIWHN} で入手できます。

要約(オリジナル)

Lightweight image super-resolution aims to reconstruct high-resolution images from low-resolution images using low computational costs. However, existing methods result in the loss of middle-layer features due to activation functions. To minimize the impact of intermediate feature loss on reconstruction quality, we propose a Feature Interaction Weighted Hybrid Network (FIWHN), which comprises a series of Wide-residual Distillation Interaction Block (WDIB) as the backbone. Every third WDIB forms a Feature Shuffle Weighted Group (FSWG) by applying mutual information shuffle and fusion. Moreover, to mitigate the negative effects of intermediate feature loss, we introduce Wide Residual Weighting units within WDIB. These units effectively fuse features of varying levels of detail through a Wide-residual Distillation Connection (WRDC) and a Self-Calibrating Fusion (SCF). To compensate for global feature deficiencies, we incorporate a Transformer and explore a novel architecture to combine CNN and Transformer. We show that our FIWHN achieves a favorable balance between performance and efficiency through extensive experiments on low-level and high-level tasks. Codes will be available at \url{https://github.com/IVIPLab/FIWHN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google