An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization

要約

強力かつ普遍的な生成 AI テクノロジーである拡散モデルは、コンピューター ビジョン、オーディオ、強化学習、計算生物学において多大な成功を収めています。
これらのアプリケーションでは、拡散モデルは柔軟な高次元データ モデリングを提供し、タスクに必要な特性に向けたアクティブなガイダンスの下で新しいサンプルを生成するサンプラーとして機能します。
実証的には大きな成功を収めているにもかかわらず、拡散モデルの理論は非常に限定的であり、拡散モデルをさらに活用し改善するための原則に基づいた方法論の革新が遅れる可能性があります。
この論文では、拡散モデルの新しいアプリケーションをレビューし、さまざまな制御下でのサンプル生成を理解します。
次に、拡散モデルの既存の理論を概説し、その統計的特性とサンプリング機能を取り上げます。
私たちは、無条件の拡散モデルから始めて、条件付きの対応モデルに接続する、漸進的なルーチンを採用しています。
さらに、条件付き拡散モデルによる高次元構造最適化の新しい道を検討します。この場合、解の検索は条件付きサンプリング問題として再定式化され、拡散モデルによって解決されます。
最後に普及モデルの今後の方向性について議論する。
この論文の目的は、普及モデルの将来を見据えた理論と方法を刺激するための、包括的な理論的暴露を提供することです。

要約(オリジナル)

Diffusion models, a powerful and universal generative AI technology, have achieved tremendous success in computer vision, audio, reinforcement learning, and computational biology. In these applications, diffusion models provide flexible high-dimensional data modeling, and act as a sampler for generating new samples under active guidance towards task-desired properties. Despite the significant empirical success, theory of diffusion models is very limited, potentially slowing down principled methodological innovations for further harnessing and improving diffusion models. In this paper, we review emerging applications of diffusion models, understanding their sample generation under various controls. Next, we overview the existing theories of diffusion models, covering their statistical properties and sampling capabilities. We adopt a progressive routine, beginning with unconditional diffusion models and connecting to conditional counterparts. Further, we review a new avenue in high-dimensional structured optimization through conditional diffusion models, where searching for solutions is reformulated as a conditional sampling problem and solved by diffusion models. Lastly, we discuss future directions about diffusion models. The purpose of this paper is to provide a well-rounded theoretical exposure for stimulating forward-looking theories and methods of diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google