GenDeg: Diffusion-Based Degradation Synthesis for Generalizable All-in-One Image Restoration

要約

All-In-One Image Restoration (AIOR) 用の深層学習ベースのモデルは、近年大幅な進歩を遂げています。
ただし、トレーニング分布外のサンプルに対する一般化が不十分であるため、実際の適用可能性は制限されます。
この制限は主に、既存のデータセット内の劣化の変化やシーンの多様性が不十分なために生じ、その結果、現実世界のシナリオが不適切に表現されてしまいます。
さらに、霞、低照度、雨滴などの劣化に関する大規模な現実世界のペアデータを取得することは、多くの場合面倒で、実行不可能な場合もあります。
この論文では、潜在拡散モデルの生成機能を利用して、きれいな画像から高品質の劣化画像を合成します。
具体的には、きれいな画像上にさまざまな劣化パターンを生成できる、劣化と強度を意識した条件付き拡散モデルである GenDeg を紹介します。
GenDeg を使用して、霞、雨、雪、モーション ブラー、低照度、雨滴の 6 つの劣化タイプにわたって 550,000 を超えるサンプルを合成しました。
これらの生成されたサンプルは既存のデータセットと統合されて、750,000 を超えるサンプルで構成される GenDS データセットを形成します。
私たちの実験により、GenDS データセットでトレーニングされた画像復元モデルは、既存のデータセットのみでトレーニングされた画像復元モデルと比較して、分布外のパフォーマンスが大幅に向上していることが明らかになりました。
さらに、AIOR に対する拡散モデルに基づく合成分解の影響に関する包括的な分析を提供します。
コードは公開されます。

要約(オリジナル)

Deep learning-based models for All-In-One Image Restoration (AIOR) have achieved significant advancements in recent years. However, their practical applicability is limited by poor generalization to samples outside the training distribution. This limitation arises primarily from insufficient diversity in degradation variations and scenes within existing datasets, resulting in inadequate representations of real-world scenarios. Additionally, capturing large-scale real-world paired data for degradations such as haze, low-light, and raindrops is often cumbersome and sometimes infeasible. In this paper, we leverage the generative capabilities of latent diffusion models to synthesize high-quality degraded images from their clean counterparts. Specifically, we introduce GenDeg, a degradation and intensity-aware conditional diffusion model capable of producing diverse degradation patterns on clean images. Using GenDeg, we synthesize over 550k samples across six degradation types: haze, rain, snow, motion blur, low-light, and raindrops. These generated samples are integrated with existing datasets to form the GenDS dataset, comprising over 750k samples. Our experiments reveal that image restoration models trained on the GenDS dataset exhibit significant improvements in out-of-distribution performance compared to those trained solely on existing datasets. Furthermore, we provide comprehensive analyses on the implications of diffusion model-based synthetic degradations for AIOR. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google