MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing

要約

近年、Transformer ネットワークは、そのグローバルな受容野と入力への適応性により、コンピューター ビジョンの分野で純粋な畳み込みニューラル ネットワーク (CNN) に取って代わり始めています。
ただし、softmax-attention の二次計算の複雑さにより、特に高解像度画像の場合、画像のかすみ除去タスクにおける幅広い用途が制限されます。
この問題に対処するために、我々は新しい Transformer バリアントを提案します。これは、テイラー展開を適用してソフトマックス アテンションを近似し、線形の計算複雑さを実現します。
テイラー展開の誤差を修正するための補完として、マルチスケール アテンション改良モジュールが提案されています。
さらに、提案する Transformer にマルチスケール パッチ埋め込みを備えたマルチブランチ アーキテクチャを導入します。これは、異なるスケールの変形可能な畳み込みを重ね合わせることによって特徴を埋め込みます。
マルチスケールパッチ埋め込みの設計は、3 つの重要なアイデアに基づいています。1) さまざまなサイズの受容野。
2) マルチレベルの意味情報。
3) 受容野の柔軟な形状。
テイラー公式によって拡張された Multi-branch Transformer (MB-TaylorFormer) と名付けられた私たちのモデルは、パッチ埋め込み段階で粗い特徴から細かい特徴までより柔軟に埋め込み、限られた計算コストで長距離のピクセル相互作用をキャプチャできます。
いくつかのかすみ除去ベンチマークの実験結果は、MB-TaylorFormer が軽い計算負荷で最先端 (SOTA) パフォーマンスを達成することを示しています。
ソース コードと事前トレーニングされたモデルは、https://github.com/FVL2020/ICCV-2023-MB-TaylorFormer で入手できます。

要約(オリジナル)

In recent years, Transformer networks are beginning to replace pure convolutional neural networks (CNNs) in the field of computer vision due to their global receptive field and adaptability to input. However, the quadratic computational complexity of softmax-attention limits the wide application in image dehazing task, especially for high-resolution images. To address this issue, we propose a new Transformer variant, which applies the Taylor expansion to approximate the softmax-attention and achieves linear computational complexity. A multi-scale attention refinement module is proposed as a complement to correct the error of the Taylor expansion. Furthermore, we introduce a multi-branch architecture with multi-scale patch embedding to the proposed Transformer, which embeds features by overlapping deformable convolution of different scales. The design of multi-scale patch embedding is based on three key ideas: 1) various sizes of the receptive field; 2) multi-level semantic information; 3) flexible shapes of the receptive field. Our model, named Multi-branch Transformer expanded by Taylor formula (MB-TaylorFormer), can embed coarse to fine features more flexibly at the patch embedding stage and capture long-distance pixel interactions with limited computational cost. Experimental results on several dehazing benchmarks show that MB-TaylorFormer achieves state-of-the-art (SOTA) performance with a light computational burden. The source code and pre-trained models are available at https://github.com/FVL2020/ICCV-2023-MB-TaylorFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google