Enhanced Diffusion Sampling via Extrapolation with Multiple ODE Solutions

要約

拡散確率モデル（DPMS）は、高品質のサンプルを生成するのに効果的ですが、反復的なサンプリングプロセスにより高い計算コストに苦しむことがよくあります。
これに対処するために、リチャードソンの外挿に触発されたDPMSの拡張されたODEベースのサンプリング方法を提案します。これにより、数値エラーが減少し、収束率が向上します。
私たちの方法であるRX-DPMは、DPMSの除去された予測を外挿するために、中間時間ステップで複数のODEソリューションを活用します。
これにより、機能評価の数（NFE）を維持しながら、最終サンプルの推定の精度が大幅に向上します。
タイムグリッドの均一な離散化を想定する標準のリチャードソン外挿とは異なり、ベースラインサンプリング方法から導出されたローカルトランケーションエラーに導かれた、任意のタイムステップスケジューリングに合わせたより一般的な定式化を開発します。
私たちのアプローチのシンプルさは、重要な計算オーバーヘッドなしで数値解の正確な推定を容易にし、さまざまなDPMSおよびソルバーへのシームレスで便利な統合を可能にします。
さらに、RX-DPMは明示的なエラー推定値を提供し、主要なエラー項の順序が増加するにつれて、より速い収束を効果的に実証します。
一連の実験を通じて、提案された方法が追加のサンプリング反復を必要とせずに生成されたサンプルの品質を改善することを示します。

要約(オリジナル)

Diffusion probabilistic models (DPMs), while effective in generating high-quality samples, often suffer from high computational costs due to their iterative sampling process. To address this, we propose an enhanced ODE-based sampling method for DPMs inspired by Richardson extrapolation, which reduces numerical error and improves convergence rates. Our method, RX-DPM, leverages multiple ODE solutions at intermediate time steps to extrapolate the denoised prediction in DPMs. This significantly enhances the accuracy of estimations for the final sample while maintaining the number of function evaluations (NFEs). Unlike standard Richardson extrapolation, which assumes uniform discretization of the time grid, we develop a more general formulation tailored to arbitrary time step scheduling, guided by local truncation error derived from a baseline sampling method. The simplicity of our approach facilitates accurate estimation of numerical solutions without significant computational overhead, and allows for seamless and convenient integration into various DPMs and solvers. Additionally, RX-DPM provides explicit error estimates, effectively demonstrating the faster convergence as the leading error term’s order increases. Through a series of experiments, we show that the proposed method improves the quality of generated samples without requiring additional sampling iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google