A Survey on Generative Diffusion Model

要約

深層生成モデルは、データ生成のための著名なアプローチであり、様々な領域において高品質のサンプルを生成するために使用されてきた。ディープ生成モデルの新たなクラスである拡散モデルは、その卓越した生成品質により大きな注目を集めている。にもかかわらず、これらのモデルには、時間のかかる反復生成プロセスや、高次元ユークリッド空間への閉じ込めなどの制限がある。本サーベイでは、サンプリングの高速化や新しい拡散プロセスの設計など、拡散モデルを強化することを目的とした高度なテクニックの数々を紹介する。さらに、多様体空間や離散空間における拡散モデルの実装戦略、拡散モデルの最尤訓練、2つの任意の分布間のブリッジを作成する方法についても掘り下げる。我々が議論するイノベーションは、近年の拡散モデルの機能性と効率性を向上させるための努力を表している。既存のモデルの有効性を検証するために、特定のNFEにおけるFIDスコア、IS、NLLのベンチマークを示す。さらに、拡散モデルは、コンピュータビジョン、オーディオ、シーケンスモデリング、科学のためのAIなどの様々なドメインで有用であることがわかった。本稿は、既存の限界と将来の方向性とともに、この分野の要約で締めくくられる。よく分類された既存の手法の要約は、我々のGithubにある： https://github.com/chq1155/A-Survey-on-Generative-Diffusion-Model

要約(オリジナル)

Deep generative models are a prominent approach for data generation, and have been used to produce high quality samples in various domains. Diffusion models, an emerging class of deep generative models, have attracted considerable attention owing to their exceptional generative quality. Despite this, they have certain limitations, including a time-consuming iterative generation process and confinement to high-dimensional Euclidean space. This survey presents a plethora of advanced techniques aimed at enhancing diffusion models, including sampling acceleration and the design of new diffusion processes. In addition, we delve into strategies for implementing diffusion models in manifold and discrete spaces, maximum likelihood training for diffusion models, and methods for creating bridges between two arbitrary distributions. The innovations we discuss represent the efforts for improving the functionality and efficiency of diffusion models in recent years. To examine the efficacy of existing models, a benchmark of FID score, IS, and NLL is presented in a specific NFE. Furthermore, diffusion models are found to be useful in various domains such as computer vision, audio, sequence modeling, and AI for science. The paper concludes with a summary of this field, along with existing limitations and future directions. Summation of existing well-classified methods is in our Github: https://github.com/chq1155/A-Survey-on-Generative-Diffusion-Model

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL