Multi-Depth Branches Network for Efficient Image Super-Resolution

要約

超解像 (SR) の分野では大きな進歩が見られますが、多くの畳み込みニューラル ネットワーク (CNN) ベースの SR モデルは主に高周波の詳細を復元することに焦点を当てており、重要な低周波の輪郭情報が見落とされることがよくあります。
トランスフォーマーベースの SR 手法には、グローバルな構造の詳細が組み込まれているものの、多くの場合、大量のパラメーターが伴うため、計算オーバーヘッドが高くなります。
このペーパーでは、Multi-Depth Branches Network (MDBN) を導入することでこれらの課題に対処します。
このフレームワークは、画像の重要な構造特性を捕捉する追加のブランチを統合することにより、ResNet アーキテクチャを拡張します。
私たちが提案する多深さブランチ モジュール (MDBM) には、異なるブランチ内のさまざまな深さで同じサイズの畳み込みカーネルをスタッキングすることが含まれます。
特徴マップの包括的な分析を実行することにより、深さの異なる分岐がそれぞれ輪郭情報と詳細情報を抽出できることが観察されました。
これらのブランチを統合することにより、アーキテクチャ全体は、人間の視覚認知により近い高周波の視覚要素の復元中に、重要な低周波の意味構造情報を保存できます。
GoogLeNet のようなモデルと比較して、基本的な多深さの分岐構造はパラメーターが少なく、計算効率が高く、パフォーマンスが向上しています。
私たちのモデルは、より短い推論時間で最先端 (SOTA) の軽量 SR メソッドよりも優れたパフォーマンスを発揮します。
私たちのコードは https://github.com/thy960112/MDBN で入手できます。

要約(オリジナル)

Significant progress has been made in the field of super-resolution (SR), yet many convolutional neural networks (CNNs) based SR models primarily focus on restoring high-frequency details, often overlooking crucial low-frequency contour information. Transformer-based SR methods, while incorporating global structural details, frequently come with an abundance of parameters, leading to high computational overhead. In this paper, we address these challenges by introducing a Multi-Depth Branches Network (MDBN). This framework extends the ResNet architecture by integrating an additional branch that captures vital structural characteristics of images. Our proposed multi-depth branches module (MDBM) involves the stacking of convolutional kernels of identical size at varying depths within distinct branches. By conducting a comprehensive analysis of the feature maps, we observe that branches with differing depths can extract contour and detail information respectively. By integrating these branches, the overall architecture can preserve essential low-frequency semantic structural information during the restoration of high-frequency visual elements, which is more closely with human visual cognition. Compared to GoogLeNet-like models, our basic multi-depth branches structure has fewer parameters, higher computational efficiency, and improved performance. Our model outperforms state-of-the-art (SOTA) lightweight SR methods with less inference time. Our code is available at https://github.com/thy960112/MDBN

arxiv情報

提供元, 利用サービス

arxiv.jp, Google