Generative Modelling with High-Order Langevin Dynamics

要約

スコアマッチングを用いた確率微分方程式(SDE)に基づく拡散生成モデリング(DGM)は、データ生成において前例のない成果を上げている。本論文では、スコアマッチングを用いた高次ランジュヴィン・ダイナミクス(HOLD)に基づく新しい高速高品質生成モデリング法を提案する。この動機は3次のランジュヴィン・ダイナミクスによって証明される。従来のSDE、例えば単一データ変数過程に対する分散分解SDEや分散保存SDEを補強することにより、HOLDは位置、速度、加速度を同時にモデル化することができ、それによりデータ生成の質と速度を同時に向上させることができる。HOLDは1つのOrnstein-Uhlenbeck過程と2つのハミルトニアンで構成され、混合時間を2桁削減する。公開データセットCIFAR-10とCelebA-HQを用いた無条件画像生成の実証実験では、Frechet inception distance(FID)と負対数尤度の両方で効果が大きく、CIFAR-10では最先端のFID1.85を達成した。

要約(オリジナル)

Diffusion generative modelling (DGM) based on stochastic differential equations (SDEs) with score matching has achieved unprecedented results in data generation. In this paper, we propose a novel fast high-quality generative modelling method based on high-order Langevin dynamics (HOLD) with score matching. This motive is proved by third-order Langevin dynamics. By augmenting the previous SDEs, e.g. variance exploding or variance preserving SDEs for single-data variable processes, HOLD can simultaneously model position, velocity, and acceleration, thereby improving the quality and speed of the data generation at the same time. HOLD is composed of one Ornstein-Uhlenbeck process and two Hamiltonians, which reduce the mixing time by two orders of magnitude. Empirical experiments for unconditional image generation on the public data set CIFAR-10 and CelebA-HQ show that the effect is significant in both Frechet inception distance (FID) and negative log-likelihood, and achieves the state-of-the-art FID of 1.85 on CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL