Flow Map Matching

要約

拡散モデル、フローマッチングモデル、確率的補間など、測定値の動的輸送に基づく生成モデルは、その軌道が既知の基本分布からターゲットに初期条件を押し込む常微分方程式または確率的微分方程式を学習します。
トレーニングは安価ですが、サンプルはシミュレーションによって生成されるため、GAN のようなワンステップ モデルよりも高価になります。
このギャップを埋めるために、基礎となる常微分方程式の 2 時間フロー マップを学習するアルゴリズムであるフロー マップ マッチングを導入します。
このアプローチは、計算コストと精度をスムーズにトレードオフするためにステップ数を事後的に選択できる、効率的な数ステップの生成モデルにつながります。
確率的補間フレームワークを利用して、フロー マップの直接トレーニングと、事前トレーニングされた (またはその他の既知の) 速度場からの蒸留の両方に損失を導入します。
理論的には、私たちのアプローチは、一貫性モデル、一貫性軌道モデル、漸進的蒸留、ニューラルオペレーターアプローチなど、多くの既存の数ステップの生成モデルを統合しており、これらは私たちのフォーマリズムの特定のケースとして取得できることを示します。
CIFAR-10 および ImageNet 32​​x32 での実験により、フロー マップ マッチングにより、拡散または確率的補間法と比較してサンプリング コストが大幅に削減され、高品質のサンプルが得られることがわかりました。

要約(オリジナル)

Generative models based on dynamical transport of measure, such as diffusion models, flow matching models, and stochastic interpolants, learn an ordinary or stochastic differential equation whose trajectories push initial conditions from a known base distribution onto the target. While training is cheap, samples are generated via simulation, which is more expensive than one-step models like GANs. To close this gap, we introduce flow map matching — an algorithm that learns the two-time flow map of an underlying ordinary differential equation. The approach leads to an efficient few-step generative model whose step count can be chosen a-posteriori to smoothly trade off accuracy for computational expense. Leveraging the stochastic interpolant framework, we introduce losses for both direct training of flow maps and distillation from pre-trained (or otherwise known) velocity fields. Theoretically, we show that our approach unifies many existing few-step generative models, including consistency models, consistency trajectory models, progressive distillation, and neural operator approaches, which can be obtained as particular cases of our formalism. With experiments on CIFAR-10 and ImageNet 32×32, we show that flow map matching leads to high-quality samples with significantly reduced sampling cost compared to diffusion or stochastic interpolant methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google