Always Clear Days: Degradation Type and Severity Aware All-In-One Adverse Weather Removal

要約

オールインワンの悪天候除去は、統合モデルで複数の天候劣化を復元することを目的とした画像復元に関する新たなトピックであり、課題は 2 つあります。
まず、複数の気象条件によって形成される対象分布におけるマルチドメインの特性を発見して処理します。
2 番目に、さまざまな劣化タイプに合わせて効率的かつ効果的な操作を設計します。
この問題に対処するために、これまでの研究のほとんどは、気象タイプによって引き起こされるマルチドメインに焦点を当てていました。
ドメイン間およびドメイン内適応の文献にヒントを得て、私たちは、気象タイプだけでなく気象の深刻度によっても、各気象タイプ ドメイン内にマルチドメインが導入され、これまでの方法では無視され、そのパフォーマンスがさらに制限されることを観察しました。
この目的を達成するために、私たちは、ブラインドでオールインワンの悪天候画像復元を行う \textbf{UtilityIR} と呼ばれる、劣化の種類と重大度を認識したモデルを提案しました。
単一の画像から気象情報を抽出するために、新しい限界品質ランキング損失 (MQRL) を提案し、コントラスト損失 (CL) を利用して天候の厳しさと種類の抽出を導き、マルチヘッド クロス アテンション (MHCA) などの一連の新しい技術を活用しました。
) とローカル-グローバル適応インスタンス正規化 (LG-AdaIN) を使用して、空間的に変化する気象劣化を効率的に復元します。
提案された方法は、さまざまな気象回復タスクにおいて主観的および客観的に SOTA 方法を大幅に上回り、大きなマージンを持ち、より少ないモデルパラメータを享受できます。
提案手法では、複数の劣化画像を組み合わせた \textbf{unseen} ドメインを復元し、復元レベルを調整することもできます。
実装コードは、{https://github.com/fordevoted/UtilityIR}{\textit{このリポジトリ}} で入手できます。

要約(オリジナル)

All-in-one adverse weather removal is an emerging topic on image restoration, which aims to restore multiple weather degradation in an unified model, and the challenging are twofold. First, discovering and handling the property of multi-domain in target distribution formed by multiple weather conditions. Second, design efficient and effective operations for different degradation types. To address this problem, most prior works focus on the multi-domain caused by weather type. Inspired by inter\&intra-domain adaptation literature, we observed that not only weather type but also weather severity introduce multi-domain within each weather type domain, which is ignored by previous methods, and further limit their performance. To this end, we proposed a degradation type and severity aware model, called \textbf{UtilityIR}, for blind all-in-one bad weather image restoration. To extract weather information from single image, we proposed a novel Marginal Quality Ranking Loss (MQRL) and utilized Contrastive Loss (CL) to guide weather severity and type extraction, and leverage a bag of novel techniques such as Multi-Head Cross Attention (MHCA) and Local-Global Adaptive Instance Normalization (LG-AdaIN) to efficiently restore spatial varying weather degradation. The proposed method can significantly outperform the SOTA methods subjectively and objectively on different weather restoration tasks with a large margin, and enjoy less model parameters. Proposed method even can restore \textbf{unseen} domain combined multiple degradation images, and modulating restoration level. Implementation code will be available at {https://github.com/fordevoted/UtilityIR}{\textit{this repository}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google