Mean Flows for One-step Generative Modeling

要約

ワンステップ生成モデリングの原則的かつ効果的なフレームワークを提案します。
流れの一致方法によってモデル化された瞬間速度とは対照的に、流れ場を特徴付ける平均速度の概念を導入します。
平均速度と瞬間的な速度の間の明確に定義されたアイデンティティが導き出され、ニューラルネットワークトレーニングを導くために使用されます。
私たちの方法は、平均流モデルと呼ばれ、自己完結型であり、トレーニング前、蒸留、またはカリキュラム学習を必要としません。
Fienflowは強力な経験的パフォーマンスを示しています。これは、ゼロから訓練されたImagenet 256×256で単一の関数評価（1-NFE）で3.43のFIDを達成し、以前の最先端のワンステップ拡散/フローモデルを大幅に上回ります。
私たちの研究は、ワンステップ拡散/フローモデルとそのマルチステップの前任者との間のギャップを大幅に絞り込んでおり、これらの強力なモデルの基礎を再訪するために将来の研究を動機付けることを願っています。

要約(オリジナル)

We propose a principled and effective framework for one-step generative modeling. We introduce the notion of average velocity to characterize flow fields, in contrast to instantaneous velocity modeled by Flow Matching methods. A well-defined identity between average and instantaneous velocities is derived and used to guide neural network training. Our method, termed the MeanFlow model, is self-contained and requires no pre-training, distillation, or curriculum learning. MeanFlow demonstrates strong empirical performance: it achieves an FID of 3.43 with a single function evaluation (1-NFE) on ImageNet 256×256 trained from scratch, significantly outperforming previous state-of-the-art one-step diffusion/flow models. Our study substantially narrows the gap between one-step diffusion/flow models and their multi-step predecessors, and we hope it will motivate future research to revisit the foundations of these powerful models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google