DA2Diff: Exploring Degradation-aware Adaptive Diffusion Priors for All-in-One Weather Restoration

要約

有害な気象条件下での画像修復は、多くのビジョンベースのアプリケーションにとって重要なタスクです。
統一されたモデル内で複数の天候の劣化を処理する最近のオールインワンフレームワークは、可能性を示しています。
ただし、さまざまな気象条件にわたる劣化パターンの多様性、および実際の劣化の複雑で多様な性質は、複数の気象除去に大きな課題をもたらします。
これらの課題に対処するために、DA2Diffと呼ばれるオールインワンの気象回復のための分解に対応する適応前の革新的な拡散パラダイムを提案します。
これは、マルチウェザーの復元を改善するために、劣化を意識する特性を認識するためにクリップを適用する新しい探索です。
具体的には、クリップ空間のプロンプトイメージの類似性の制約により、分解が認識される表現をキャプチャするために、学習可能なプロンプトのセットを展開します。
雪/かすんだ/雨の画像を雪/haze/雨のプロンプトで整列させることにより、それぞれのプロンプトは異なる気象劣化特性に貢献します。
学習されたプロンプトは、設計された気象固有のプロンプトガイダンスモジュールを介して拡散モデルに統合され、複数の気象タイプを復元できるようにします。
複雑な気象劣化への適応性をさらに向上させるために、ダイナミックな気象認識ルーターを採用して、各気象差別化された画像に対してさまざまな数の修復専門家を柔軟に派遣し、拡散モデルが多様な分解を適応的に回復できるようにする動的な専門家選択モジュレーターを提案します。
実験結果は、定量的および定性的評価における最先端に対するDA2DIFFの好ましいパフォーマンスを実証します。
ソースコードは受け入れた後に利用可能になります。

要約(オリジナル)

Image restoration under adverse weather conditions is a critical task for many vision-based applications. Recent all-in-one frameworks that handle multiple weather degradations within a unified model have shown potential. However, the diversity of degradation patterns across different weather conditions, as well as the complex and varied nature of real-world degradations, pose significant challenges for multiple weather removal. To address these challenges, we propose an innovative diffusion paradigm with degradation-aware adaptive priors for all-in-one weather restoration, termed DA2Diff. It is a new exploration that applies CLIP to perceive degradation-aware properties for better multi-weather restoration. Specifically, we deploy a set of learnable prompts to capture degradation-aware representations by the prompt-image similarity constraints in the CLIP space. By aligning the snowy/hazy/rainy images with snow/haze/rain prompts, each prompt contributes to different weather degradation characteristics. The learned prompts are then integrated into the diffusion model via the designed weather specific prompt guidance module, making it possible to restore multiple weather types. To further improve the adaptiveness to complex weather degradations, we propose a dynamic expert selection modulator that employs a dynamic weather-aware router to flexibly dispatch varying numbers of restoration experts for each weather-distorted image, allowing the diffusion model to restore diverse degradations adaptively. Experimental results substantiate the favorable performance of DA2Diff over state-of-the-arts in quantitative and qualitative evaluation. Source code will be available after acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google