Is Noise Conditioning Necessary for Denoising Generative Models?

要約

ノイズコンディショニングは、拡散モデルを除去するには不可欠であると広く信じられています。
この仕事はこの信念に挑戦します。
盲目のイメージ除去に関する研究に動機付けられ、ノイズコンディショニングがない場合に、さまざまな除去ベースの生成モデルを調査します。
驚いたことに、ほとんどのモデルは優雅な劣化を示し、場合によっては、ノイズコンディショニングなしでさらにパフォーマンスを発揮します。
ノイズコンディショニングを削除することによって引き起こされるエラーの理論的分析を提供し、分析が経験的観察と一致することを示します。
さらに、CIFAR-10で2.23の競争力のあるFIDを達成するノイズ非条件モデルを導入し、主要なノイズコンディショナルモデルへのギャップを大幅に絞り込みます。
私たちの調査結果が、生成モデルの除去の基礎と定式化を再訪するようコミュニティに刺激を与えることを願っています。

要約(オリジナル)

It is widely believed that noise conditioning is indispensable for denoising diffusion models to work successfully. This work challenges this belief. Motivated by research on blind image denoising, we investigate a variety of denoising-based generative models in the absence of noise conditioning. To our surprise, most models exhibit graceful degradation, and in some cases, they even perform better without noise conditioning. We provide a theoretical analysis of the error caused by removing noise conditioning and demonstrate that our analysis aligns with empirical observations. We further introduce a noise-unconditional model that achieves a competitive FID of 2.23 on CIFAR-10, significantly narrowing the gap to leading noise-conditional models. We hope our findings will inspire the community to revisit the foundations and formulations of denoising generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google