Convergence guarantee for consistency models

要約

私たちは、拡散モデルによって生成されたサンプルと同等のサンプルを生成できる、新しく登場したタイプの 1 ステップ生成モデルである整合性モデル (CM) に対して最初の収束保証を提供します。
私たちの主な結果は、スコアマッチングエラー、一貫性エラー、およびデータ分布の滑らかさに関する基本的な仮定の下で、CM は小さな $W_2$ エラーで 1 ステップで現実的なデータ分布から効率的にサンプリングできるということです。
私たちの結果 (1) ($L^\infty$-accurate ではなく) $L^2$-accurate スコアと一貫性仮定に当てはまります。
(2) 対数ソベレフ不等式などのデータ分布に関する強い仮定を必要とすることに注意してください。
(3) すべてのパラメータで多項式にスケーリングします。
(4) スコアベースの生成モデル (SGM) の最先端の収束保証に適合します。
また、マルチステップ一貫性サンプリング手順は、1 ステップ サンプリングと比較して誤差をさらに削減できるという結果も提供します。これは、「一貫性モデル、Yang Song 2023」の元の記述を裏付けています。
私たちの結果はさらに、出力分布にランジュバンベースの変更を加えた場合の TV エラーの保証を暗示しています。

要約(オリジナル)

We provide the first convergence guarantees for the Consistency Models (CMs), a newly emerging type of one-step generative models that can generate comparable samples to those generated by Diffusion Models. Our main result is that, under the basic assumptions on score-matching errors, consistency errors and smoothness of the data distribution, CMs can efficiently sample from any realistic data distribution in one step with small $W_2$ error. Our results (1) hold for $L^2$-accurate score and consistency assumption (rather than $L^\infty$-accurate); (2) do note require strong assumptions on the data distribution such as log-Sobelev inequality; (3) scale polynomially in all parameters; and (4) match the state-of-the-art convergence guarantee for score-based generative models (SGMs). We also provide the result that the Multistep Consistency Sampling procedure can further reduce the error comparing to one step sampling, which support the original statement of ‘Consistency Models, Yang Song 2023’. Our result further imply a TV error guarantee when take some Langevin-based modifications to the output distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google