Understanding Hallucinations in Diffusion Models through Mode Interpolation

要約

口語的に言えば、拡散プロセスに基づく画像生成モデルは、トレーニング データでは決して発生し得ないサンプルである「幻覚」を示すとよく言われます。
しかし、そのような幻覚はどこから来るのでしょうか？
この論文では、拡散モデルにおける特定の故障モード (モード補間と呼ぶ) を研究します。
具体的には、拡散モデルはトレーニング セット内の近くのデータ モード間をスムーズに「補間」し、元のトレーニング分布のサポートから完全に外れたサンプルを生成することがわかります。
この現象により、拡散モデルは実際のデータには決して存在しなかったアーティファクト (つまり、幻覚) を生成します。
私たちはこの現象の理由と現象を体系的に研究しています。
1D および 2D ガウスの実験を通じて、拡散モデルのデコーダにおける不連続な損失状況が、滑らかな近似によってそのような幻覚を引き起こす領域にどのようにつながるかを示します。
さまざまな形状の人工データセットの実験を通じて、幻覚がどのようにしてこれまで存在しなかった形状の組み合わせの生成につながるかを示します。
最後に、拡散モデルは、いつサポートが切れて幻覚が現れるかを実際に知っていることを示します。
これは、最後の数回の後向きサンプリング プロセスに向けて、生成されたサンプルの軌跡の大きな変動によって捕捉されます。
この差異を捉える単純な指標を使用すると、サポート中のサンプルの 96% を保持しながら、生成時に 95% 以上の幻覚を除去できます。
私たちは、MNIST と 2D ガウス データセットでの実験により、合成データでの再帰的トレーニングの崩壊 (および安定化) に対するそのような幻覚 (およびその除去) の影響を示して、調査を終了します。
コードは https://github.com/locuslab/diffusion-model-hallucination でリリースされます。

要約(オリジナル)

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit ‘hallucinations,’ samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly ‘interpolate’ between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model’s decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google