Optimization-Free Diffusion Model — A Perturbation Theory Approach

要約

拡散モデルは、生成モデリングの強力なフレームワークとして浮上しており、通常、ニューラルネットワークを最適化してフォワードSDEシミュレーションを介してスコア関数を推定することに依存しています。
この作業では、最適化なしでフォワードフリーの両方の代替方法を提案します。
スコア関数を拡散プロセスに関連する後方コルモゴロフ演算子の固有ベシスのまばらなセットで拡大することにより、スコア推定を線形システムの解として再定式化し、反復的最適化と時間依存サンプル生成を回避します。
摂動理論を使用して近似誤差を分析し、高次元のボルツマン分布と実際のデータセットに対する方法の有効性を実証します。

要約(オリジナル)

Diffusion models have emerged as a powerful framework in generative modeling, typically relying on optimizing neural networks to estimate the score function via forward SDE simulations. In this work, we propose an alternative method that is both optimization-free and forward SDE-free. By expanding the score function in a sparse set of eigenbasis of the backward Kolmogorov operator associated with the diffusion process, we reformulate score estimation as the solution to a linear system, avoiding iterative optimization and time-dependent sample generation. We analyze the approximation error using perturbation theory and demonstrate the effectiveness of our method on high-dimensional Boltzmann distributions and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google