Sequential Flow Matching for Generative Modeling

要約

拡散モデルやフローベースのモデルなどの連続時間生成モデルの確率フローを直線化することが、数値ソルバーによる高速サンプリングの鍵となります。既存の方法では、確率パスを直接生成することで線形パスを学習します。
ノイズとデータ分散。
これらの生成モデルをシミュレートする ODE ベースのソルバーのサンプリング速度が遅い主な理由の 1 つは、ODE 軌道の高い曲率によって引き起こされる ODE ソルバーのグローバルな切り捨て誤差です。これにより、数値ソルバーの切り捨て誤差が爆発的に増大します。
低NFE体制。
この課題に対処するために、私たちは SeqRF と呼ばれる新しい方法を提案します。これは確率フローを直線化して全体的な打ち切り誤差を低減し、サンプリングの高速化と合成品質の向上を可能にする学習技術です。
理論的研究と実証的研究の両方で、まず SeqRF の矯正特性を観察します。
フローベースの生成モデルに対する SeqRF による実証的評価を通じて、CIFAR-10、CelebA-$64 \times 64$、および LSUN-Church データセットで優れた結果を達成しました。

要約(オリジナル)

Straightening the probability flow of the continuous-time generative models, such as diffusion models or flow-based models, is the key to fast sampling through the numerical solvers, existing methods learn a linear path by directly generating the probability path the joint distribution between the noise and data distribution. One key reason for the slow sampling speed of the ODE-based solvers that simulate these generative models is the global truncation error of the ODE solver, caused by the high curvature of the ODE trajectory, which explodes the truncation error of the numerical solvers in the low-NFE regime. To address this challenge, We propose a novel method called SeqRF, a learning technique that straightens the probability flow to reduce the global truncation error and hence enable acceleration of sampling and improve the synthesis quality. In both theoretical and empirical studies, we first observe the straightening property of our SeqRF. Through empirical evaluations via SeqRF over flow-based generative models, We achieve surpassing results on CIFAR-10, CelebA-$64 \times 64$, and LSUN-Church datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google