DDT: Dual-branch Deformable Transformer for Image Denoising

要約

【タイトル】画像のノイズ除去のためのデュアルブランチ変形可能トランスフォーマー(DDT)

【要約】
-コンボリューションのバイアスがあるため、Transformerは長距離依存関係をモデル化することができるため、画像のノイズ除去タスクに有効である。
-しかし、直接トランスフォーマー構造を適用してノイズを除去することは難しいため、空間解像度が二次的に増加する。
-この論文では、効率的なデュアルブランチ変形可能トランスフォーマー（DDT）を提案しています。これは、両方の局所的およびグローバルな相互作用を並列にキャプチャします。
-私たちは、局所支店とグローバル支店に固定パッチサイズと固定パッチ数で機能を分割します。
-さらに、両方の支店で変形可能な注意操作を適用し、ネットワークがより重要な領域に注目するのを助け、計算量をさらに減らします。
-我々は、実世界と合成デノイズタスクを広範に実験し、提案されたDDTは、大幅に少ない計算コストで最先端の性能を達成しています。

要約(オリジナル)

Transformer is beneficial for image denoising tasks since it can model long-range dependencies to overcome the limitations presented by inductive convolutional biases. However, directly applying the transformer structure to remove noise is challenging because its complexity grows quadratically with the spatial resolution. In this paper, we propose an efficient Dual-branch Deformable Transformer (DDT) denoising network which captures both local and global interactions in parallel. We divide features with a fixed patch size and a fixed number of patches in local and global branches, respectively. In addition, we apply deformable attention operation in both branches, which helps the network focus on more important regions and further reduces computational complexity. We conduct extensive experiments on real-world and synthetic denoising tasks, and the proposed DDT achieves state-of-the-art performance with significantly fewer computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI