ReDi: Efficient Learning-Free Diffusion Inference via Trajectory Retrieval

要約

拡散モデルは、さまざまなデータに対して有望な生成機能を示しています。
生成品質は高いにもかかわらず、拡散モデルの推論には多数のサンプリング反復が必要なため、依然として時間がかかります。
推論を高速化するために、シンプルだが学習不要の検索ベースの拡散サンプリング フレームワークである ReDi を提案します。
ReDi は、事前に計算された知識ベースから、生成の初期段階で部分的に生成された軌跡に類似した軌跡を取得し、中間ステップの大部分をスキップし、取得した軌跡の後のステップからサンプリングを続行します。
ReDiの生成性能が保証されていることを理論的に証明しています。
私たちの実験では、ReDi がモデル推論効率を 2 倍高速化することを実証しています。
さらに、ReDi は、画像の様式化など、ゼロショットのクロスドメイン画像生成をうまく一般化できます。

要約(オリジナル)

Diffusion models show promising generation capability for a variety of data. Despite their high generation quality, the inference for diffusion models is still time-consuming due to the numerous sampling iterations required. To accelerate the inference, we propose ReDi, a simple yet learning-free Retrieval-based Diffusion sampling framework. From a precomputed knowledge base, ReDi retrieves a trajectory similar to the partially generated trajectory at an early stage of generation, skips a large portion of intermediate steps, and continues sampling from a later step in the retrieved trajectory. We theoretically prove that the generation performance of ReDi is guaranteed. Our experiments demonstrate that ReDi improves the model inference efficiency by 2x speedup. Furthermore, ReDi is able to generalize well in zero-shot cross-domain image generation such as image stylization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google