Rethinking Diffusion Model in High Dimension

要約

次元の呪いは、統計的確率モデルでは避けられない課題ですが、拡散モデルはこの制限を克服し、高次元データ生成で印象的な結果を達成しているようです。
拡散モデルは、基礎となる確率分布の統計的特性を学習できると仮定し、この分布からサンプリングが現実的なサンプルを生成できるようにします。
しかし、これは本当に彼らがどのように機能するかですか？
この質問に対処するために、このペーパーでは、拡散モデルの目的関数と推論方法の詳細な分析を実施し、上記の質問に答えるのに役立ついくつかの重要な結論につながります。
2）主流の推論方法はすべて、マルコフチェーンやSDEなどの統計的概念を必要とせずに、すべて単純な統一フレームワーク内で表現できます。
3）この単純なフレームワークに導かれ、より効率的な推論方法を発見できます。

要約(オリジナル)

Curse of Dimensionality is an unavoidable challenge in statistical probability models, yet diffusion models seem to overcome this limitation, achieving impressive results in high-dimensional data generation. Diffusion models assume that they can learn the statistical properties of the underlying probability distribution, enabling sampling from this distribution to generate realistic samples. But is this really how they work? To address this question, this paper conducts a detailed analysis of the objective function and inference methods of diffusion models, leading to several important conclusions that help answer the above question: 1) In high-dimensional sparse scenarios, the target of the objective function fitting degrades from a weighted sum of multiple samples to a single sample. 2) The mainstream inference methods can all be represented within a simple unified framework, without requiring statistical concepts such as Markov chains and SDEs. 3) Guided by this simple framework, more efficient inference methods can be discovered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google