Generative Modelling with High-Order Langevin Dynamics

要約

スコア マッチングを備えた確率微分方程式 (SDE) に基づく拡散生成モデリング (DGM) は、データ生成において前例のない結果を達成しました。
この論文では、スコア マッチングを備えた高次ランジュバン ダイナミクス (HOLD) に基づく、新しい高速高品質生成モデリング手法を提案します。
この動機は 3 次のランジュバン力学によって証明されます。
以前の SDE を拡張することにより、たとえば
単一データ変数プロセス用の分散爆発または分散保存 SDE を使用すると、HOLD は位置、速度、加速度を同時にモデル化できるため、データ生成の品質と速度が同時に向上します。
HOLD は 1 つの Ornstein-Uhlenbeck プロセスと 2 つのハミルトニアンで構成されており、混合時間を 2 桁短縮します。
公開データセット CIFAR-10 および CelebA-HQ での無条件画像生成の実証実験では、その効果がフレシェ開始距離 (FID) と負の対数尤度の両方で有意であり、次の最先端の FID を達成することが示されています。
CIFAR-10では1.85。

要約(オリジナル)

Diffusion generative modelling (DGM) based on stochastic differential equations (SDEs) with score matching has achieved unprecedented results in data generation. In this paper, we propose a novel fast high-quality generative modelling method based on high-order Langevin dynamics (HOLD) with score matching. This motive is proved by third-order Langevin dynamics. By augmenting the previous SDEs, e.g. variance exploding or variance preserving SDEs for single-data variable processes, HOLD can simultaneously model position, velocity, and acceleration, thereby improving the quality and speed of the data generation at the same time. HOLD is composed of one Ornstein-Uhlenbeck process and two Hamiltonians, which reduce the mixing time by two orders of magnitude. Empirical experiments for unconditional image generation on the public data set CIFAR-10 and CelebA-HQ show that the effect is significant in both Frechet inception distance (FID) and negative log-likelihood, and achieves the state-of-the-art FID of 1.85 on CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google