Joint Conditional Diffusion Model for Image Restoration with Mixed Degradations

要約

悪天候下、特に複数の劣化が同時に発生した場合、画像の復元はかなり困難になります。
この問題に取り組むためにブラインド画像分解が提案されましたが、その有効性は各コンポーネントの正確な推定に大きく依存します。
拡散ベースのモデルは画像復元タスクにおいて強力な生成能力を発揮しますが、劣化した画像がひどく破損している場合には無関係なコンテンツを生成する可能性があります。
これらの問題に対処するために、私たちは物理的制約を活用して修復プロセス全体をガイドし、大気散乱モデルに基づいた混合劣化モデルを構築します。
次に、劣化画像と劣化マスクを組み込んでジョイント条件付き拡散モデル (JCDM) を定式化し、正確なガイダンスを提供します。
より良い色とディテールの復元結果を達成するために、復元された画像を再構築するためのリファインメント ネットワークをさらに統合し、不確実性推定ブロック (UEB) を使用して特徴を強化します。
複数の気象データセットと気象固有のデータセットの両方で実行された広範な実験により、最先端の競合手法に対する当社の手法の優位性が実証されました。

要約(オリジナル)

Image restoration is rather challenging in adverse weather conditions, especially when multiple degradations occur simultaneously. Blind image decomposition was proposed to tackle this issue, however, its effectiveness heavily relies on the accurate estimation of each component. Although diffusion-based models exhibit strong generative abilities in image restoration tasks, they may generate irrelevant contents when the degraded images are severely corrupted. To address these issues, we leverage physical constraints to guide the whole restoration process, where a mixed degradation model based on atmosphere scattering model is constructed. Then we formulate our Joint Conditional Diffusion Model (JCDM) by incorporating the degraded image and degradation mask to provide precise guidance. To achieve better color and detail recovery results, we further integrate a refinement network to reconstruct the restored image, where Uncertainty Estimation Block (UEB) is employed to enhance the features. Extensive experiments performed on both multi-weather and weather-specific datasets demonstrate the superiority of our method over state-of-the-art competing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google