UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models

要約

拡散確率モデル (DPM) は、高解像度の画像合成において非常に有望な能力を示しています。
ただし、事前トレーニング済みの DPM からのサンプリングには通常、数百回のモデル評価が必要であり、計算コストが高くなります。
DPM の高次ソルバーの設計における最近の進歩にもかかわらず、特に非常に少ないステップ (例: 5 ~ 10 ステップ) では、さらに高速化する余地がまだあります。
ODE ソルバーの予測修正子に着想を得て、既存の DPM サンプラーの後に適用できる統合修正子 (UniC) を開発し、追加のモデル評価なしで精度の次数を上げ、任意の順序をサポートする統合予測子 (UniP) を導出します。
副産物として。
UniP と UniC を組み合わせて、DPM の高速サンプリング用に UniPC と呼ばれる統一された予測子修正子フレームワークを提案します。これは、任意の順序に対して統一された分析形式を持ち、以前の方法よりもサンプリング品質を大幅に向上させることができます。
ピクセル空間および潜在空間DPMを使用した無条件および条件付きサンプリングの両方を含む広範な実験を通じて、方法を評価します。
当社の UniPC は、CIFAR10 で 3.87 FID (無条件)、ImageNet で 7.51 FID 256$\times$256 (条件付き) を 10 回の関数評価のみで達成できます。
コードは https://github.com/wl-zhao/UniPC で入手できます

要約(オリジナル)

Diffusion probabilistic models (DPMs) have demonstrated a very promising ability in high-resolution image synthesis. However, sampling from a pre-trained DPM usually requires hundreds of model evaluations, which is computationally expensive. Despite recent progress in designing high-order solvers for DPMs, there still exists room for further speedup, especially in extremely few steps (e.g., 5~10 steps). Inspired by the predictor-corrector for ODE solvers, we develop a unified corrector (UniC) that can be applied after any existing DPM sampler to increase the order of accuracy without extra model evaluations, and derive a unified predictor (UniP) that supports arbitrary order as a byproduct. Combining UniP and UniC, we propose a unified predictor-corrector framework called UniPC for the fast sampling of DPMs, which has a unified analytical form for any order and can significantly improve the sampling quality over previous methods. We evaluate our methods through extensive experiments including both unconditional and conditional sampling using pixel-space and latent-space DPMs. Our UniPC can achieve 3.87 FID on CIFAR10 (unconditional) and 7.51 FID on ImageNet 256$\times$256 (conditional) with only 10 function evaluations. Code is available at https://github.com/wl-zhao/UniPC

arxiv情報

提供元, 利用サービス

arxiv.jp, Google