Classifier-Free Guidance inside the Attraction Basin May Cause Memorization

要約

拡散モデルは、トレーニングデータから画像を正確に再現する傾向があります。
トレーニングデータのこの正確な複製は、著作権侵害やプライバシーに敏感な情報の漏れにつながる可能性があるため、懸念されます。
この論文では、暗記現象に関する新しい視点を提示し、それを軽減するためのシンプルで効果的なアプローチを提案します。
私たちは、拡散軌道を記憶したイメージに向ける除去プロセスの魅力盆地のために暗記が起こると主張します。
ただし、これは、分類器のないガイダンスが適用される理想的な遷移点が発生するまで、分類器を含まないガイダンスを適用しないことにより、アトラクション盆地から拡散軌道を導くことで軽減できます。
これにより、画質が高く、コンディショニングメカニズムに適した非記憶に包まれた画像の生成につながります。
これをさらに改善するために、除去プロセスでより早く魅力盆地を逃れるためのガイダンスとは反対の新しいガイダンス手法を提示します。
私たちは、暗記が起こるさまざまなシナリオに魅力盆地の存在を示し、提案されたアプローチが暗記をうまく緩和することを示しています。

要約(オリジナル)

Diffusion models are prone to exactly reproduce images from the training data. This exact reproduction of the training data is concerning as it can lead to copyright infringement and/or leakage of privacy-sensitive information. In this paper, we present a novel perspective on the memorization phenomenon and propose a simple yet effective approach to mitigate it. We argue that memorization occurs because of an attraction basin in the denoising process which steers the diffusion trajectory towards a memorized image. However, this can be mitigated by guiding the diffusion trajectory away from the attraction basin by not applying classifier-free guidance until an ideal transition point occurs from which classifier-free guidance is applied. This leads to the generation of non-memorized images that are high in image quality and well-aligned with the conditioning mechanism. To further improve on this, we present a new guidance technique, opposite guidance, that escapes the attraction basin sooner in the denoising process. We demonstrate the existence of attraction basins in various scenarios in which memorization occurs, and we show that our proposed approach successfully mitigates memorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google