VGDFR: Diffusion-based Video Generation with Dynamic Latent Frame Rate

要約

拡散トランス（DIT）ベースの生成モデルは、ビデオ生成で顕著な成功を収めています。
ただし、それらの固有の計算需要は、効率性の大きな課題をもたらします。
この論文では、現実世界のビデオの固有の時間的不均一性を活用し、ビデオが動的な情報密度を示すことを観察します。高モーションセグメントは静的シーンよりも詳細な保存を必要とします。
この時間的不均一性に触発されて、私たちはVGDFRを提案します。これは、動的潜在フレームレートを備えた拡散ベースのビデオ生成のためのトレーニングなしのアプローチです。
VGDFRは、高周波セグメントに少ないトークンを使用しながら、高周波セグメントで詳細を維持しながら、潜在スペース含有量の動き周波数に基づいて潜在空間の要素の数を適応的に調整します。
具体的には、主要な貢献は次のとおりです。（1）ビデオセグメントのフレームレートを適応的に割り当てるDITビデオ生成の動的なフレームレートスケジューラ。
（2）低解像度の空間で冗長性を統合する前に、潜在表現を除去されたカウンターパートと整列させるための新しい潜在スペースの融合法。
（3）DITレイヤー全体の回転位置埋め込み（ロープ）の優先分析。
実験は、VGDFRが最小限の品質分解でビデオ生成のために最大3倍のスピードアップを達成できることを示しています。

要約(オリジナル)

Diffusion Transformer(DiT)-based generation models have achieved remarkable success in video generation. However, their inherent computational demands pose significant efficiency challenges. In this paper, we exploit the inherent temporal non-uniformity of real-world videos and observe that videos exhibit dynamic information density, with high-motion segments demanding greater detail preservation than static scenes. Inspired by this temporal non-uniformity, we propose VGDFR, a training-free approach for Diffusion-based Video Generation with Dynamic Latent Frame Rate. VGDFR adaptively adjusts the number of elements in latent space based on the motion frequency of the latent space content, using fewer tokens for low-frequency segments while preserving detail in high-frequency segments. Specifically, our key contributions are: (1) A dynamic frame rate scheduler for DiT video generation that adaptively assigns frame rates for video segments. (2) A novel latent-space frame merging method to align latent representations with their denoised counterparts before merging those redundant in low-resolution space. (3) A preference analysis of Rotary Positional Embeddings (RoPE) across DiT layers, informing a tailored RoPE strategy optimized for semantic and local information capture. Experiments show that VGDFR can achieve a speedup up to 3x for video generation with minimal quality degradation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google