ReviveDiff: A Universal Diffusion Model for Restoring Images in Adverse Weather Conditions

要約

夜間、霧、雨天、水中などの厳しい環境で撮影された画像は、多くの場合大幅な劣化が発生し、視覚的な品質が大幅に低下します。
これらの劣化した画像を効果的に復元することは、その後の視覚タスクにとって非常に重要です。
既存のアプローチの多くは、個々のタスクに特定の事前分布を組み込むことに成功していますが、これらのカスタマイズされたソリューションは、他の劣化への適用可能性を制限します。
この研究では、「ReviveDiff」と呼ばれるユニバーサル ネットワーク アーキテクチャを提案します。これは、幅広い劣化に対処し、品質を強化および復元することで画像を生き返らせることができます。
私たちのアプローチは、動きや電子的な問題によって引き起こされる劣化とは異なり、悪条件下での品質劣化は主に自然媒体 (霧、水、低輝度など) に起因し、通常はオブジェクトの元の構造を保存するという観察に触発されています。
このような画像の品質を復元するために、私たちは拡散モデルの最新の進歩を活用し、シャープネス、歪み、ノイズ レベル、ダイナミック レンジ、画質を決定するいくつかの重要な要素にわたってマクロ レベルとミクロ レベルの両方から画質を復元する ReviveDiff を開発しました。
色の正確さ。
私たちは、雨、水中、低照度、煙、夜間の霧の 5 種類の劣化条件をカバーする 7 つのベンチマーク データセットで ReviveDiff を厳密に評価しました。
私たちの実験結果は、ReviveDiff が定量的にも視覚的にも最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Images captured in challenging environments–such as nighttime, foggy, rainy weather, and underwater–often suffer from significant degradation, resulting in a substantial loss of visual quality. Effective restoration of these degraded images is critical for the subsequent vision tasks. While many existing approaches have successfully incorporated specific priors for individual tasks, these tailored solutions limit their applicability to other degradations. In this work, we propose a universal network architecture, dubbed ‘ReviveDiff’, which can address a wide range of degradations and bring images back to life by enhancing and restoring their quality. Our approach is inspired by the observation that, unlike degradation caused by movement or electronic issues, quality degradation under adverse conditions primarily stems from natural media (such as fog, water, and low luminance), which generally preserves the original structures of objects. To restore the quality of such images, we leveraged the latest advancements in diffusion models and developed ReviveDiff to restore image quality from both macro and micro levels across some key factors determining image quality, such as sharpness, distortion, noise level, dynamic range, and color accuracy. We rigorously evaluated ReviveDiff on seven benchmark datasets covering five types of degrading conditions: Rainy, Underwater, Low-light, Smoke, and Nighttime Hazy. Our experimental results demonstrate that ReviveDiff outperforms the state-of-the-art methods both quantitatively and visually.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google