The Emergence of Reproducibility and Generalizability in Diffusion Models

要約

この研究では、「一貫したモデルの再現性」と呼ぶ、拡散モデルの興味深い一般的な現象を調査します。つまり、同じ開始ノイズ入力と決定論的サンプラーが与えられた場合、異なる拡散モデルは、多くの場合、非常に類似した出力を生成します。
我々は包括的な実験を通じてこの現象を確認し、拡散モデルのフレームワーク、モデルアーキテクチャ、トレーニング手順に関係なく、異なる拡散モデルが一貫して同じデータ分布とスコアリング関数に到達することを示唆しています。
さらに驚くべきことに、私たちのさらなる調査は、拡散モデルがトレーニング データ サイズの影響を受ける異なる分布を学習していることを示唆しています。
これは、モデルの再現性が 2 つの異なるトレーニング レジームで表れるという事実によって裏付けられます。(i) 拡散モデルがトレーニング データの分布にオーバーフィットする「記憶レジーム」、および (ii) モデルが学習する「一般化レジーム」です。
基礎となるデータ分散。
私たちの研究では、この貴重な特性が、条件付き使用、逆問題の解決、モデルの微調整など、拡散モデルのさまざまなバリエーションに一般化されることもわかりました。
最後に、私たちの研究は、将来の調査のために多くの興味深い理論的疑問を提起し、トレーニング効率、モデルのプライバシー、および拡散モデルの制御された生成に関する実践的な意味を強調しています。

要約(オリジナル)

In this work, we investigate an intriguing and prevalent phenomenon of diffusion models which we term as ‘consistent model reproducibility’: given the same starting noise input and a deterministic sampler, different diffusion models often yield remarkably similar outputs. We confirm this phenomenon through comprehensive experiments, implying that different diffusion models consistently reach the same data distribution and scoring function regardless of diffusion model frameworks, model architectures, or training procedures. More strikingly, our further investigation implies that diffusion models are learning distinct distributions affected by the training data size. This is supported by the fact that the model reproducibility manifests in two distinct training regimes: (i) ‘memorization regime’, where the diffusion model overfits to the training data distribution, and (ii) ‘generalization regime’, where the model learns the underlying data distribution. Our study also finds that this valuable property generalizes to many variants of diffusion models, including those for conditional use, solving inverse problems, and model fine-tuning. Finally, our work raises numerous intriguing theoretical questions for future investigation and highlights practical implications regarding training efficiency, model privacy, and the controlled generation of diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google