Stream-level flow matching from a Bayesian decision theoretic perspective

要約

フロー マッチング (FM) は、連続正規化フロー (CNF) をフィッティングするためのトレーニング アルゴリズムのファミリーです。
条件付きフロー マッチング (CFM) と呼ばれる FM への標準的なアプローチは、CNF の一方または両方の端が指定された、いわゆる条件付きベクトル フィールドに最小二乗回帰を当てはめることによって、CNF の周辺ベクトル フィールドを学習できるという事実を利用しています。
流路。
パラメータ推定に関するベイズ決定理論の観点から CFM トレーニングを観察すると、CFM アルゴリズムの一般化への扉が開かれることを示します。
我々は、ノイズと観測データのペアを接続する潜在的な確率的パスのインスタンスである「ストリーム」と呼ばれるものを与えられた条件付き確率パスの定義に基づく CFM アルゴリズムを導入することで、そのような拡張の 1 つを提案します。
さらに、私たちはガウス過程 (GP) を使用してこれらの潜在的なストリームをモデル化することを提唱します。
GP の固有の分布特性、特に GP の速度が依然として GP であるという事実により、実際のストリームをシミュレートせずに、結果として得られるストリーム拡張条件付き​​確率パスからサンプルを抽出することができ、したがって「シミュレーションフリー」になります。
CFM トレーニングの性質は維持されます。
この CFM の一般化により、適度な計算コストで推定周辺ベクトル場の分散を大幅に削減でき、それによって共通のメトリクスの下で生成されるサンプルの品質が向上することを示します。
さらに、ストリームに GP を採用することで、複数の関連するトレーニング データ ポイント (時系列など) を柔軟にリンクし、追加の事前情報を組み込むことができることを示します。
私たちは、シミュレーションと 2 つの手書き画像データセットへの適用の両方を通じて、私たちの主張を経験的に検証します。

要約(オリジナル)

Flow matching (FM) is a family of training algorithms for fitting continuous normalizing flows (CNFs). A standard approach to FM, called conditional flow matching (CFM), exploits the fact that the marginal vector field of a CNF can be learned by fitting least-square regression to the so-called conditional vector field specified given one or both ends of the flow path. We show that viewing CFM training from a Bayesian decision theoretic perspective on parameter estimation opens the door to generalizations of CFM algorithms. We propose one such extension by introducing a CFM algorithm based on defining conditional probability paths given what we refer to as “streams”, instances of latent stochastic paths that connect pairs of noise and observed data. Further, we advocates the modeling of these latent streams using Gaussian processes (GPs). The unique distributional properties of GPs, and in particular the fact that the velocities of a GP is still a GP, allows drawing samples from the resulting stream-augmented conditional probability path without simulating the actual streams, and hence the “simulation-free’ nature of CFM training is preserved. We show that this generalization of the CFM can substantially reduce the variance in the estimated marginal vector field at a moderate computational cost, thereby improving the quality of the generated samples under common metrics. Additionally, we show that adopting the GP on the streams allows for flexibly linking multiple related training data points (e.g., time series) and incorporating additional prior information. We empirically validate our claim through both simulations and applications to two hand-written image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google