Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples

要約

拡散モデルは非常に高品質のサンプルを生成できますが、高価な反復サンプリング手順が本質的にボトルネックになっています。
整合性モデル (CM) は最近、有望な拡散モデル蒸留法として浮上しており、わずか数回の反復で忠実度の高いサンプルを生成することでサンプリングのコストを削減します。
整合性モデル蒸留は、既存の拡散モデルによって定義された確率流常微分方程式 (ODE) を解くことを目的としています。
CM は、ODE ソルバーに対する誤差を最小限に抑えるように直接トレーニングされていません。むしろ、より計算的に扱いやすい目標を使用します。
CM が確率フロー ODE をどのように効率的に解くか、および誘発された誤差が生成されたサンプルの品質に与える影響を研究する方法として、この誤差を \textit{直接} 最小化するダイレクト CM を導入します。
興味深いことに、ダイレクト CM は CM と比較して ODE の解法誤差を減らすことができますが、サンプルの品質も大幅に低下することがわかり、そもそもなぜ CM が適切に機能するのかという疑問が生じています。
完全なコードは https://github.com/layer6ai-labs/direct-cms で入手できます。

要約(オリジナル)

Although diffusion models can generate remarkably high-quality samples, they are intrinsically bottlenecked by their expensive iterative sampling procedure. Consistency models (CMs) have recently emerged as a promising diffusion model distillation method, reducing the cost of sampling by generating high-fidelity samples in just a few iterations. Consistency model distillation aims to solve the probability flow ordinary differential equation (ODE) defined by an existing diffusion model. CMs are not directly trained to minimize error against an ODE solver, rather they use a more computationally tractable objective. As a way to study how effectively CMs solve the probability flow ODE, and the effect that any induced error has on the quality of generated samples, we introduce Direct CMs, which \textit{directly} minimize this error. Intriguingly, we find that Direct CMs reduce the ODE solving error compared to CMs but also result in significantly worse sample quality, calling into question why exactly CMs work well in the first place. Full code is available at: https://github.com/layer6ai-labs/direct-cms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google