Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers

要約

拡散変圧器（DITS）は、最先端の（SOTA）画像生成の品質を達成しましたが、高遅延とメモリの非効率性に悩まされているため、リソース制約のデバイスに展開することは困難です。
1つの主要な効率ボトルネックは、既存のDITが画像のすべての領域に等しい計算を適用することです。
ただし、すべての画像トークンが等しく重要であるわけではなく、特定のローカライズされた領域にはオブジェクトなどのより多くの計算が必要です。
これに対処するために、微分可能な圧縮比を持つ動的なDIT推論フレームワークであるDIFFCRを提案します。これは、各画像トークンのレイヤーとタイムステップ間の計算を動的にルーティングすることを自動的に学習し、効率的なDITになります。
具体的には、DIFFCRは3つの機能を統合します。（1）各DITレイヤーには、モデル重量と共同で微調整されてトークンの重要性スコアを予測するトークンレベルのルーティングスキームが含まれています。
このようにして、重要でないトークンはレイヤー全体の計算をバイパスします。
（2）異なるDITレイヤーがゼロ初期化から変化する圧縮比を自動的に学習する層ごとの微分比メカニズムで、冗長層で大きな圧縮比が大きくなり、他のものは圧縮されないか、非圧縮さえありません。
（3）各除去タイムステップが独自の圧縮比を学習するタイムステップごとの微分比機構。
結果として得られるパターンは、画像がより明確になるにつれて、ノイズの多いタイムステップの比率が高いことを示し、比率は低くなります。
テキストから画像への広範な実験と取り付けタスクは、DIFFCRがトークン、レイヤー、およびタイムステップ軸全体でダイナミズムを効果的にキャプチャし、以前の作品と比較して生成品質と効率性の間の優れたトレードオフを達成することを示しています。
プロジェクトWebサイトは、https：//www.haoranyou.com/diffcrで入手できます。

要約(オリジナル)

Diffusion Transformers (DiTs) have achieved state-of-the-art (SOTA) image generation quality but suffer from high latency and memory inefficiency, making them difficult to deploy on resource-constrained devices. One major efficiency bottleneck is that existing DiTs apply equal computation across all regions of an image. However, not all image tokens are equally important, and certain localized areas require more computation, such as objects. To address this, we propose DiffCR, a dynamic DiT inference framework with differentiable compression ratios, which automatically learns to dynamically route computation across layers and timesteps for each image token, resulting in efficient DiTs. Specifically, DiffCR integrates three features: (1) A token-level routing scheme where each DiT layer includes a router that is fine-tuned jointly with model weights to predict token importance scores. In this way, unimportant tokens bypass the entire layer’s computation; (2) A layer-wise differentiable ratio mechanism where different DiT layers automatically learn varying compression ratios from a zero initialization, resulting in large compression ratios in redundant layers while others remain less compressed or even uncompressed; (3) A timestep-wise differentiable ratio mechanism where each denoising timestep learns its own compression ratio. The resulting pattern shows higher ratios for noisier timesteps and lower ratios as the image becomes clearer. Extensive experiments on text-to-image and inpainting tasks show that DiffCR effectively captures dynamism across token, layer, and timestep axes, achieving superior trade-offs between generation quality and efficiency compared to prior works. The project website is available at https://www.haoranyou.com/diffcr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google