Accelerating Guided Diffusion Sampling with Splitting Numerical Methods

要約

ガイド付き拡散は、特定のタスクごとにネットワークを再トレーニングすることなく、サンプリング時に拡散モデルの出力を調整する手法です。
ただし、拡散モデルの欠点の 1 つは、サンプリング プロセスが遅いことです。
最近の技術では、微分方程式として見たときに高次数値法をサンプリング プロセスに適用することで、ガイドなしサンプリングを高速化できます。
それどころか、ガイド付きサンプリングでは同じ手法が機能しないことがわかり、その加速についてはほとんど調査されていません。
この論文では、この問題の原因を探り、演算子分割法に基づく解決策を提供します。これは、従来の高次数値法は条件付き関数には適していないという重要な発見に動機付けられたものです。
提案された方法は、ガイド付きサンプリングに高次の方法を再利用でき、ImageNet256 で 32 ～ 58% 少ないサンプリング時間を使用して、250 ステップの DDIM ベースラインと同じ品質の画像を生成できます。
また、テキストから画像への生成、カラー化、修復、超解像など、さまざまな条件付き生成タスクでの使用方法も示します。

要約(オリジナル)

Guided diffusion is a technique for conditioning the output of a diffusion model at sampling time without retraining the network for each specific task. One drawback of diffusion models, however, is their slow sampling process. Recent techniques can accelerate unguided sampling by applying high-order numerical methods to the sampling process when viewed as differential equations. On the contrary, we discover that the same techniques do not work for guided sampling, and little has been explored about its acceleration. This paper explores the culprit of this problem and provides a solution based on operator splitting methods, motivated by our key finding that classical high-order numerical methods are unsuitable for the conditional function. Our proposed method can re-utilize the high-order methods for guided sampling and can generate images with the same quality as a 250-step DDIM baseline using 32-58% less sampling time on ImageNet256. We also demonstrate usage on a wide variety of conditional generation tasks, such as text-to-image generation, colorization, inpainting, and super-resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google