Does Generation Require Memorization? Creative Diffusion Models using Ambient Diffusion

要約

特にトレーニングセットが小さい場合、最先端の拡散モデリングパラダイムがトレーニングセットを記憶するモデルにつながるという強力な経験的証拠があります。
暗記の問題を軽減するための以前の方法は、多くの場合、画質の低下につながります。
強力で創造的な生成モデル、つまり高生成品質と低い暗記を達成するモデルを取得することは可能ですか？
現在の悲観的な結果の風景にもかかわらず、私たちは忠実さと暗記の間のトレードオフを推進する際に大きな進歩を遂げています。
最初に、拡散モデルの暗記が低ノイズスケールで問題を除去するためにのみ必要であるという理論的証拠を提供します（通常、高周波の詳細の生成に使用されます）。
この理論的洞察を使用して、大きなノイズスケールでノイズの多いデータを使用して拡散モデルを訓練するためのシンプルで原則的な方法を提案します。
私たちの方法は、画質を低下させることなく、テキスト条件と無条件の両方のモデル、およびさまざまなデータ可用性設定について、暗記を大幅に削減することを示しています。

要約(オリジナル)

There is strong empirical evidence that the state-of-the-art diffusion modeling paradigm leads to models that memorize the training set, especially when the training set is small. Prior methods to mitigate the memorization problem often lead to a decrease in image quality. Is it possible to obtain strong and creative generative models, i.e., models that achieve high generation quality and low memorization? Despite the current pessimistic landscape of results, we make significant progress in pushing the trade-off between fidelity and memorization. We first provide theoretical evidence that memorization in diffusion models is only necessary for denoising problems at low noise scales (usually used in generating high-frequency details). Using this theoretical insight, we propose a simple, principled method to train the diffusion models using noisy data at large noise scales. We show that our method significantly reduces memorization without decreasing the image quality, for both text-conditional and unconditional models and for a variety of data availability settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google