Multisample Flow Matching: Straightening Flows with Minibatch Couplings

要約

タイトル：Multisample Flow Matching：Mini Batch Couplingsを用いた流れのまっすぐ化

要約：連続時間生成モデルの学習のためのシミュレーションなしの方法は、ノイズ分布と個々のデータサンプルの間を行く確率パスを構築します。最近の研究であるFlow Matchingは、各データサンプルに対して最適なパスを導出しました。しかし、これらのアルゴリズムは独立したデータとノイズサンプルに依存し、データ分布の基礎的な構造を構成する確率パスを活用していません。私たちは、非自明なデータとノイズサンプルのカップリングを使用するより一般的なフレームワークであるMultisample Flow Matchingを提案し、正しいマージナル制約を満たします。この一般化には非常に小さなオーバーヘッドコストがかかりますが、これにより、トレーニング中の勾配分散を低減し、学習されたベクトル場のまっすぐなフローを獲得し、関数評価の数を少なくして高品質のサンプルを生成することができます。さらに、高次元における低コストのサンプル生成に適用範囲があります。重要なことに、これを完全なシミュレーションなしの方法で、単純な最小化目的関数で行います。私たちは、提案された方法が、ダウンサンプリングされたImageNetデータセットでサンプルの一貫性を向上させ、より低コストのサンプル生成につながることを示しています。

– ノイズ分布と個々のデータサンプルの間の確率パスを構築することができる。
– 最適なパスを導出することができるが、独立したデータとノイズサンプルに依存しており、データ分布の基礎的な構造を構成する確率パスを活用していない。
– 非自明なデータとノイズサンプルのカップリングを使用し、正しいマージナル制約を満たします。
– トレーニング中の勾配分散を低減し、学習されたベクトル場の流れを獲得することができる。
– 関数評価の数を減らし、高品質のサンプルを生成できる。
– 高次元における低コストのサンプル生成に適用範囲があります。
– 完全なシミュレーションなしの方法で、単純な最小化目的関数で行います。
– ダウンサンプリングされたImageNetデータセットでサンプルの一貫性を向上させ、より低コストのサンプル生成につながることを示す結果がある。

要約(オリジナル)

Simulation-free methods for training continuous-time generative models construct probability paths that go between noise distributions and individual data samples. Recent works, such as Flow Matching, derived paths that are optimal for each data sample. However, these algorithms rely on independent data and noise samples, and do not exploit underlying structure in the data distribution for constructing probability paths. We propose Multisample Flow Matching, a more general framework that uses non-trivial couplings between data and noise samples while satisfying the correct marginal constraints. At very small overhead costs, this generalization allows us to (i) reduce gradient variance during training, (ii) obtain straighter flows for the learned vector field, which allows us to generate high-quality samples using fewer function evaluations, and (iii) obtain transport maps with lower cost in high dimensions, which has applications beyond generative modeling. Importantly, we do so in a completely simulation-free manner with a simple minimization objective. We show that our proposed methods improve sample consistency on downsampled ImageNet data sets, and lead to better low-cost sample generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI