Distilling Two-Timed Flow Models by Separately Matching Initial and Terminal Velocities

要約

フローマッチングモデルは、よく知られたノイズ分布($p_0$)とデータ分布($p_1$)の間を補間する確率経路${ p_t \}_{0 Γ t Γ 1}$を生成する時間依存ベクトル場$v_t(x)$を学習する。これは、1回の関数評価で、初期時刻$s$の分布に属するサンプルを、終端時刻$t$の分布に属する別のサンプルに変換することができるemph{two-timed flow model} (TTFM) $phi_{s,x}(t)$に分解することができる。この損失関数は、Boffiらによって提案されたLagrangian Flow Map Distillation (LFMD)損失を拡張したもので、時間$s$における初期速度をマッチングさせるために冗長項を追加し、時間$t$における終端速度項から微分を除去し、指数移動平均(EMA)によって安定化された学習中のモデルのバージョンを用いて目標終端平均速度を計算する。予備実験によれば、我々の損失は、複数の種類のデータセットとモデルアーキテクチャにおいて、ベースラインよりも優れた少数ステップ生成性能をもたらす。

要約(オリジナル)

A flow matching model learns a time-dependent vector field $v_t(x)$ that generates a probability path $\{ p_t \}_{0 \leq t \leq 1}$ that interpolates between a well-known noise distribution ($p_0$) and the data distribution ($p_1$). It can be distilled into a \emph{two-timed flow model} (TTFM) $\phi_{s,x}(t)$ that can transform a sample belonging to the distribution at an initial time $s$ to another belonging to the distribution at a terminal time $t$ in one function evaluation. We present a new loss function for TTFM distillation called the \emph{initial/terminal velocity matching} (ITVM) loss that extends the Lagrangian Flow Map Distillation (LFMD) loss proposed by Boffi et al. by adding redundant terms to match the initial velocities at time $s$, removing the derivative from the terminal velocity term at time $t$, and using a version of the model under training, stabilized by exponential moving averaging (EMA), to compute the target terminal average velocity. Preliminary experiments show that our loss leads to better few-step generation performance on multiple types of datasets and model architectures over baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL