Attention-Guided Multi-scale Interaction Network for Face Super-Resolution

要約

最近、CNNおよびトランスハイブリッドネットワークは、Face Super-Resolution（FSR）タスクで優れたパフォーマンスを実証しました。
ハイブリッドネットワークのさまざまなスケールで多数の機能があるため、これらのマルチスケール機能を融合し、相補性を促進する方法は、FSRを強化するために重要です。
ただし、既存のハイブリッドネットワークベースのFSRメソッドはこれを無視しますが、変圧器とCNNを組み合わせるだけです。
この問題に対処するために、ローカルおよびグローバルな特徴の相互作用とエンコーダーデコーダーフェーズ機能の相互作用を含む、注意ガイド付きマルチスケールインタラクションネットワーク（AMINET）を提案します。
具体的には、残留深度特徴抽出モジュール（RDFE）によって抽出されたグローバルな特徴とさまざまな受容フィールドのローカル機能の融合を促進するために、ローカルおよびグローバルな特徴インタラクションモジュール（LGFI）を提案します。
さらに、LGFIおよびエンコーダーデコーダーフェーズ内のさまざまな機能の融合を適応的に選択するために、選択的カーネル注意融合モジュール（SKAF）を提案します。
上記の設計では、モジュール内とエンコーダーとデコーダー間のマルチスケール機能の自由な流れを可能にし、さまざまなスケール機能の相補性を促進してFSRを強化できます。
包括的な実験では、計算消費量が少なく、推論が速いことで、この方法が一貫してうまく機能することが確認されています。

要約(オリジナル)

Recently, CNN and Transformer hybrid networks demonstrated excellent performance in face super-resolution (FSR) tasks. Since numerous features at different scales in hybrid networks, how to fuse these multi-scale features and promote their complementarity is crucial for enhancing FSR. However, existing hybrid network-based FSR methods ignore this, only simply combining the Transformer and CNN. To address this issue, we propose an attention-guided Multi-scale interaction network (AMINet), which contains local and global feature interactions and encoder-decoder phase feature interactions. Specifically, we propose a Local and Global Feature Interaction Module (LGFI) to promote fusions of global features and different receptive fields’ local features extracted by our Residual Depth Feature Extraction Module (RDFE). Additionally, we propose a Selective Kernel Attention Fusion Module (SKAF) to adaptively select fusions of different features within LGFI and encoder-decoder phases. Our above design allows the free flow of multi-scale features from within modules and between encoder and decoder, which can promote the complementarity of different scale features to enhance FSR. Comprehensive experiments confirm that our method consistently performs well with less computational consumption and faster inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google