TANet: Triplet Attention Network for All-In-One Adverse Weather Image Restoration

要約

悪天候画像の復元は、悪天候によって引き起こされるかすみ、雨、雪などの望ましくない劣化したアーティファクトを除去することを目的としています。
既存の方法は、単一気象条件に対処する上で顕著な結果を達成しています。
ただし、現実世界のシナリオではよく起こる予測不可能な気象条件に遭遇すると、課題に直面します。
異なる気象条件は異なる劣化パターンを示しますが、劣化パターンによって引き起こされるオクルージョン、色の歪み、大気粒子の散乱によるコントラストの減衰など、高度に関連し補完し合う共通の特性を共有しています。
したがって、私たちは複数の気象条件にわたる共通の知識を活用して、統一された方法で画像を復元することに重点を置いています。
この論文では、オールインワンの悪天候画像復元に効率的かつ効果的に対処する Triplet Attendant Network (TANet) を提案します。
TANet は、3 種類のアテンション メカニズムを組み込んだトリプレット アテンション ブロック (TAB) で構成されています。1 つは、不均一な劣化パターンによって引き起こされるオクルージョンに対処するローカル ピクセルワイズ アテンション (LPA) とグローバル ストリップワイズ アテンション (GSA)、およびグローバル ディストリビューション アテンション (
GDA) は、大気現象によって引き起こされる色の歪みとコントラストの減衰に対処します。
TANet は、さまざまな気象条件間で共有される共通の知識を活用することで、統一された方法で複数の気象条件に対処することに成功しています。
実験結果は、TANet がオールインワンの悪天候画像復元において効率的かつ効果的に最先端のパフォーマンスを達成することを示しています。
ソース コードは https://github.com/xhuachris/TANet-ACCV-2024 で入手できます。

要約(オリジナル)

Adverse weather image restoration aims to remove unwanted degraded artifacts, such as haze, rain, and snow, caused by adverse weather conditions. Existing methods achieve remarkable results for addressing single-weather conditions. However, they face challenges when encountering unpredictable weather conditions, which often happen in real-world scenarios. Although different weather conditions exhibit different degradation patterns, they share common characteristics that are highly related and complementary, such as occlusions caused by degradation patterns, color distortion, and contrast attenuation due to the scattering of atmospheric particles. Therefore, we focus on leveraging common knowledge across multiple weather conditions to restore images in a unified manner. In this paper, we propose a Triplet Attention Network (TANet) to efficiently and effectively address all-in-one adverse weather image restoration. TANet consists of Triplet Attention Block (TAB) that incorporates three types of attention mechanisms: Local Pixel-wise Attention (LPA) and Global Strip-wise Attention (GSA) to address occlusions caused by non-uniform degradation patterns, and Global Distribution Attention (GDA) to address color distortion and contrast attenuation caused by atmospheric phenomena. By leveraging common knowledge shared across different weather conditions, TANet successfully addresses multiple weather conditions in a unified manner. Experimental results show that TANet efficiently and effectively achieves state-of-the-art performance in all-in-one adverse weather image restoration. The source code is available at https://github.com/xhuachris/TANet-ACCV-2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google