RainDiffusion:When Unsupervised Learning Meets Diffusion Models for Real-world Image Deraining

要約

教師なし学習が現実世界の画像デレイン化の拡散モデルと出会うとどうなるでしょうか?
それに答えるために、拡散モデルに基づく最初の教師なし画像デレインパラダイムである RainDiffusion を提案します。
RainDiffusion は、従来の教師なしの画像デレインの知恵を超えて、弱く敵対的なトレーニングの代わりに、対になっていない現実世界のデータの安定したトレーニングを導入します。
RainDiffusion は、非拡散翻訳ブランチ (NTB) と拡散翻訳ブランチ (DTB) の 2 つの共同ブランチで構成されています。
NTB は、サイクル一貫性のあるアーキテクチャを利用して、初期のクリーン/雨の画像ペアを生成することにより、標準的な拡散モデルのペアになっていないトレーニングの難しさを回避します。
DTB は 2 つの条件付き拡散モジュールを活用して、初期画像ペアと拡散的生成事前分布を使用して目的の出力を段階的に改良し、デレインと降雨生成のより優れた一般化機能を取得します。
Rain-Diffusion は非敵対的トレーニング パラダイムであり、現実世界の画像脱線の新しい標準バーとして機能します。
広範な実験により、RainDiffusion が教師なし/半教師ありの方法よりも優れていることが確認され、完全に教師ありの方法よりも優れていることが示されています。

要約(オリジナル)

What will happen when unsupervised learning meets diffusion models for real-world image deraining? To answer it, we propose RainDiffusion, the first unsupervised image deraining paradigm based on diffusion models. Beyond the traditional unsupervised wisdom of image deraining, RainDiffusion introduces stable training of unpaired real-world data instead of weakly adversarial training. RainDiffusion consists of two cooperative branches: Non-diffusive Translation Branch (NTB) and Diffusive Translation Branch (DTB). NTB exploits a cycle-consistent architecture to bypass the difficulty in unpaired training of standard diffusion models by generating initial clean/rainy image pairs. DTB leverages two conditional diffusion modules to progressively refine the desired output with initial image pairs and diffusive generative prior, to obtain a better generalization ability of deraining and rain generation. Rain-Diffusion is a non adversarial training paradigm, serving as a new standard bar for real-world image deraining. Extensive experiments confirm the superiority of our RainDiffusion over un/semi-supervised methods and show its competitive advantages over fully-supervised ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google