Improving Consistency Models with Generator-Augmented Flows

要約

一貫性モデルは、ニューラルネットワークの単一のフォワードパスでのスコアベースの拡散のマルチステップサンプリングを模倣します。
一貫性の蒸留と一貫性トレーニングの2つの方法で学ぶことができます。
前者は、事前に訓練されたニューラルネットワークによって近似される、対応する微分方程式の真の速度フィールドに依存しています。
対照的に、後者はこの速度フィールドの単一サンプルのモンテカルロ推定を使用します。
関連する推定誤差は、一貫性の蒸留とトレーニングとの間に矛盾を誘発します。
この問題を軽減するために、一貫性モデルから派生した対応する出力に騒々しいデータを輸送する新しい流れを提案します。
このフローにより、以前に特定された不一致とノイズデータ輸送コストが削減されることが証明されます。
その結果、私たちの方法は、一貫性トレーニングの収束を加速するだけでなく、全体的なパフォーマンスを向上させます。
このコードは、https：//github.com/thibautissenhuth/consistency_gcで入手できます。

要約(オリジナル)

Consistency models imitate the multi-step sampling of score-based diffusion in a single forward pass of a neural network. They can be learned in two ways: consistency distillation and consistency training. The former relies on the true velocity field of the corresponding differential equation, approximated by a pre-trained neural network. In contrast, the latter uses a single-sample Monte Carlo estimate of this velocity field. The related estimation error induces a discrepancy between consistency distillation and training that, we show, still holds in the continuous-time limit. To alleviate this issue, we propose a novel flow that transports noisy data towards their corresponding outputs derived from a consistency model. We prove that this flow reduces the previously identified discrepancy and the noise-data transport cost. Consequently, our method not only accelerates consistency training convergence but also enhances its overall performance. The code is available at: https://github.com/thibautissenhuth/consistency_GC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google