Improved Convergence Rate for Diffusion Probabilistic Models

要約

スコアベースの拡散モデルは、複雑な分布から高品質の新しいデータ インスタンスを生成する機能により、機械学習と人工知能の分野で顕著な経験的パフォーマンスを達成しました。
主にそのようなモデルの収束解析を含む、拡散モデルの理解を向上させることは、多くの関心を集めています。
多くの理論的な試みにもかかわらず、理論と実践の間には依然として大きなギャップが存在します。
このギャップを埋めるために、$d^{1/3}\varepsilon^{-2/3}$ のオーダーで反復の複雑さを確立します。これは、$d^{5/12}\varepsilon^{ よりも優れています。
-1}$、これは私たちの研究以前に達成された最もよく知られた複雑さです。
この収束解析は、ランダム化された中点法に基づいています。この法は、最初に対数凹サンプリング用に提案され (Shen および Lee、2019)、その後 Gupta らによって拡散モデルに拡張されました。
（2024年）。
私たちの理論は $\varepsilon$ 精度のスコア推定に対応しており、ターゲット分布の対数凹度を必要としません。
さらに、アルゴリズムは、以前の作業と同様の方法で $O(\log^2(d/\varepsilon))$ 並列ラウンドのみで実行するように並列化することもできます。

要約(オリジナル)

Score-based diffusion models have achieved remarkable empirical performance in the field of machine learning and artificial intelligence for their ability to generate high-quality new data instances from complex distributions. Improving our understanding of diffusion models, including mainly convergence analysis for such models, has attracted a lot of interests. Despite a lot of theoretical attempts, there still exists significant gap between theory and practice. Towards to close this gap, we establish an iteration complexity at the order of $d^{1/3}\varepsilon^{-2/3}$, which is better than $d^{5/12}\varepsilon^{-1}$, the best known complexity achieved before our work. This convergence analysis is based on a randomized midpoint method, which is first proposed for log-concave sampling (Shen and Lee, 2019), and then extended to diffusion models by Gupta et al. (2024). Our theory accommodates $\varepsilon$-accurate score estimates, and does not require log-concavity on the target distribution. Moreover, the algorithm can also be parallelized to run in only $O(\log^2(d/\varepsilon))$ parallel rounds in a similar way to prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google