Dilated Strip Attention Network for Image Restoration

要約

画像の復元は、劣化した画像から潜在的な鮮明な画像を回復しようとする長年の課題です。
長距離の依存関係を捕捉する自己注意の堅牢な能力により、近年、トランスフォーマベースの手法または一部の注意ベースの畳み込みニューラル ネットワークが、多くの画像復元タスクで有望な結果を実証しています。
しかし、既存の注意モジュールは、限られた受容野または豊富なパラメータに遭遇します。
コンテキスト情報をより効果的かつ効率的に統合するために、この論文では、画像復元のための拡張ストリップアテンションネットワーク (DSAN) を提案します。
具体的には、同じ行または列内の隣接するピクセルから各ピクセルに関するより多くのコンテキスト情報を収集するために、拡張ストリップ アテンション (DSA) メカニズムが精巧に提案されています。
DSA 操作を水平方向および垂直方向に採用することで、各場所でより広い領域からコンテキスト情報を収集できます。
さらに、DSA のさまざまな特徴グループにわたるマルチスケールの受容野を利用して、表現学習を改善します。
広範な実験により、当社の DSAN はいくつかの画像復元タスクにおいて最先端のアルゴリズムよりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Image restoration is a long-standing task that seeks to recover the latent sharp image from its deteriorated counterpart. Due to the robust capacity of self-attention to capture long-range dependencies, transformer-based methods or some attention-based convolutional neural networks have demonstrated promising results on many image restoration tasks in recent years. However, existing attention modules encounters limited receptive fields or abundant parameters. In order to integrate contextual information more effectively and efficiently, in this paper, we propose a dilated strip attention network (DSAN) for image restoration. Specifically, to gather more contextual information for each pixel from its neighboring pixels in the same row or column, a dilated strip attention (DSA) mechanism is elaborately proposed. By employing the DSA operation horizontally and vertically, each location can harvest the contextual information from a much wider region. In addition, we utilize multi-scale receptive fields across different feature groups in DSA to improve representation learning. Extensive experiments show that our DSAN outperforms state-of-the-art algorithms on several image restoration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google