How Diffusion Models Learn to Factorize and Compose

要約

拡散モデルは、トレーニング セットに一緒に表示されない可能性が高い要素を組み合わせたフォトリアリスティックな画像を生成でき、構成的に一般化できることを示しています。
それにもかかわらず、構成性の正確なメカニズムと、それがトレーニングを通じてどのように獲得されるかは、依然としてわかりにくいままです。
認知神経科学的アプローチに触発されて、拡散モデルが構成可能な特徴の意味的に意味のある因数分解された表現を学習するかどうか、またいつ学習するかを調べるために、高度に縮小された設定を検討します。
私たちは、さまざまな形式の 2D ガウス データを生成するようにトレーニングされた条件付きノイズ除去拡散確率モデル (DDPM) に対して広範な制御実験を実行しました。
データの基礎となる変動の連続特徴をエンコードするために、モデルは因数分解されたが完全に連続ではない多様体表現を学習することがわかりました。
このような表現を使用すると、モデルは優れた特徴構成性を示しますが、特定の特徴の目に見えない値を補間する能力には限界があります。
私たちの実験結果はさらに、拡散モデルが少数の構成例で構成性を達成できることを実証し、DDPM をトレーニングするより効率的な方法を示唆しています。
最後に、拡散モデルにおける多様体形成を物理学のパーコレーション理論に結び付け、因数分解表現学習の突然の開始についての洞察を提供します。
したがって、私たちの徹底的なおもちゃの実験は、拡散モデルがデータの組成構造をどのように捉えるかについてのより深い理解に貢献します。

要約(オリジナル)

Diffusion models are capable of generating photo-realistic images that combine elements which likely do not appear together in the training set, demonstrating the ability to compositionally generalize. Nonetheless, the precise mechanism of compositionality and how it is acquired through training remains elusive. Inspired by cognitive neuroscientific approaches, we consider a highly reduced setting to examine whether and when diffusion models learn semantically meaningful and factorized representations of composable features. We performed extensive controlled experiments on conditional Denoising Diffusion Probabilistic Models (DDPMs) trained to generate various forms of 2D Gaussian data. We found that the models learn factorized but not fully continuous manifold representations for encoding continuous features of variation underlying the data. With such representations, models demonstrate superior feature compositionality but limited ability to interpolate over unseen values of a given feature. Our experimental results further demonstrate that diffusion models can attain compositionality with few compositional examples, suggesting a more efficient way to train DDPMs. Finally, we connect manifold formation in diffusion models to percolation theory in physics, offering insight into the sudden onset of factorized representation learning. Our thorough toy experiments thus contribute a deeper understanding of how diffusion models capture compositional structure in data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google