Learning Real-World Image De-Weathering with Imperfect Supervision

要約

現実世界の画像のデウェザリングは、さまざまな望ましくない気象関連のアーティファクトを除去することを目的としています。
画像ペアを同時にキャプチャすることが不可能なため、既存の実世界の気象除去データセットでは、グラウンドトゥルース画像と入力劣化画像の間で照明、位置、テクスチャが一貫していないことが多く、その結果、監視が不完全になります。
このような非理想的な監視は、学習ベースのデウェザリング手法のトレーニング プロセスに悪影響を及ぼします。
この作業では、さまざまな不一致に対する統一されたソリューションで問題に対処することを試みます。
具体的には、情報ボトルネック理論に触発されて、まず一貫性のあるラベル コンストラクター (CLC) を開発し、天候に関連した劣化のほとんどを除去しながら、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成します。
特に、擬似ラベルを強化するために、現在の入力の複数の隣接するフレームも CLC に供給されます。
次に、元の不完全なラベルと擬似ラベルを組み合わせて、提案された情報配分戦略 (IAS) によって天候除去モデルを共同で監視します。
テスト中は、デウェザリング モデルのみが推論に使用されます。
2 つの現実世界の風化除去データセットでの実験により、私たちの方法が既存の風化除去モデルのパフォーマンス向上に役立つことが示されました。
コードは https://github.com/1180300419/imperfect-deweathering で入手できます。

要約(オリジナル)

Real-world image de-weathering aims at removing various undesirable weather-related artifacts. Owing to the impossibility of capturing image pairs concurrently, existing real-world de-weathering datasets often exhibit inconsistent illumination, position, and textures between the ground-truth images and the input degraded images, resulting in imperfect supervision. Such non-ideal supervision negatively affects the training process of learning-based de-weathering methods. In this work, we attempt to address the problem with a unified solution for various inconsistencies. Specifically, inspired by information bottleneck theory, we first develop a Consistent Label Constructor (CLC) to generate a pseudo-label as consistent as possible with the input degraded image while removing most weather-related degradations. In particular, multiple adjacent frames of the current input are also fed into CLC to enhance the pseudo-label. Then we combine the original imperfect labels and pseudo-labels to jointly supervise the de-weathering model by the proposed Information Allocation Strategy (IAS). During testing, only the de-weathering model is used for inference. Experiments on two real-world de-weathering datasets show that our method helps existing de-weathering models achieve better performance. Codes are available at https://github.com/1180300419/imperfect-deweathering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google