要約
拡散モデル（DM）は、多様なドメイン全体の生成タスクの主要な選択となっています。
ただし、複数のシーケンシャルフォワードパスへの依存により、リアルタイムのパフォーマンスが大幅に制限されます。
以前の加速方法は、主にサンプリングステップの数を減らすか、中間結果の再利用に焦点を合わせており、畳み込みのU-NET構造の制約のために画像内の空間領域全体の変動を活用できません。
さまざまな数のトークンを処理する際の拡散変圧器（DIT）の柔軟性を活用することにより、DITモデルの焦点に基づいて画像内の領域に異なるサンプリング比を動的に割り当てる斬新なトレーニングフリーサンプリング戦略であるRASを導入します。
私たちの重要な観察では、各サンプリングステップ中に、モデルは意味的に意味のある領域に集中し、これらの焦点領域は連続したステップにわたって強い連続性を示すことです。
この洞察を活用して、RASは現在焦点を合わせている地域のみを更新し、他の領域は前のステップからのキャッシュノイズを使用して更新されます。
モデルの焦点は、前のステップからの出力に基づいて決定され、観察した時間的一貫性を活用します。
安定した拡散3とLumina-Next-T2IでRAを評価し、それぞれ最大2.36倍と2.51倍までのスピードアップを達成し、生成品質の低下を最小限に抑えます。
さらに、ユーザー調査では、RASが1.6倍のスピードアップを達成しながら、人間の評価の下で同等の品質を提供することが明らかになりました。
私たちのアプローチは、より効率的な拡散トランスに向けて重要な一歩を踏み出し、リアルタイムアプリケーションの可能性を高めます。
要約(オリジナル)
Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model’s focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.
arxiv情報
| 著者 | Ziming Liu,Yifan Yang,Chengruidong Zhang,Yiqi Zhang,Lili Qiu,Yang You,Yuqing Yang |
| 発行日 | 2025-02-14 18:59:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google