FRDiff: Feature Reuse for Exquisite Zero-shot Acceleration of Diffusion Models

要約

拡散モデルのかなりの計算コストは​​、特に高品質の画像生成に不可欠なノイズ除去ステップの繰り返しによるものであり、拡散モデルの普及には大きな障害となっています。
いくつかの研究では、微調整を行わずに高度な ODE ソルバーを使用してスコア関数評価の数を減らすことでこの問題に対処しようとしていますが、ノイズ除去の反復回数が減少すると、詳細を更新する機会が失われ、顕著な品質の低下が生じます。
私たちの研究では、拡散モデルに固有の時間的冗長性を活用する高度な高速化手法を導入しています。
時間的類似性の高い特徴マップを再利用すると、出力品質を犠牲にすることなく計算を節約する新たな機会が生まれます。
この直感の実際的な利点を実現するために、私たちは広範な分析を実施し、新しい手法 FRDiff を提案します。
FRDiff は、NFE の削減と機能の再利用の両方の利点を活用するように設計されており、さまざまな生成タスクにおける忠実性と遅延のトレードオフのバランスをとるパレート フロンティアを実現します。

要約(オリジナル)

The substantial computational costs of diffusion models, particularly due to the repeated denoising steps crucial for high-quality image generation, present a major obstacle to their widespread adoption. While several studies have attempted to address this issue by reducing the number of score function evaluations using advanced ODE solvers without fine-tuning, the decreased number of denoising iterations misses the opportunity to update fine details, resulting in noticeable quality degradation. In our work, we introduce an advanced acceleration technique that leverages the temporal redundancy inherent in diffusion models. Reusing feature maps with high temporal similarity opens up a new opportunity to save computation without sacrificing output quality. To realize the practical benefits of this intuition, we conduct an extensive analysis and propose a novel method, FRDiff. FRDiff is designed to harness the advantages of both reduced NFE and feature reuse, achieving a Pareto frontier that balances fidelity and latency trade-offs in various generative tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google