Progressive Autoregressive Video Diffusion Models

要約

現在のフロンティアビデオ普及モデルは、高品質ビデオの生成において顕著な結果を示しています。
ただし、トレーニング中の計算制限により、通常は約 10 秒または 240 フレームの短いビデオ クリップしか生成できません。
この研究では、アーキテクチャを変更することなく、既存のモデルを自己回帰ビデオ拡散モデルに自然に拡張できることを示します。
私たちの重要なアイデアは、単一のノイズ レベルではなく、段階的に増加するノイズ レベルを持つ潜在フレームを割り当てることです。これにより、潜在フレーム間の粒度の細かい条件とアテンション ウィンドウ間の大きな重複が可能になります。
このようなプログレッシブビデオノイズ除去により、モデルは品質の低下や突然のシーン変更を発生させることなく、ビデオフレームを自己回帰的に生成することができます。
1 分間の長いビデオ生成 (24 FPS で 1440 フレーム) に関する最先端の結果を紹介します。
この論文のビデオは https://desaixie.github.io/pa-vdm/ でご覧いただけます。

要約(オリジナル)

Current frontier video diffusion models have demonstrated remarkable results at generating high-quality videos. However, they can only generate short video clips, normally around 10 seconds or 240 frames, due to computation limitations during training. In this work, we show that existing models can be naturally extended to autoregressive video diffusion models without changing the architectures. Our key idea is to assign the latent frames with progressively increasing noise levels rather than a single noise level, which allows for fine-grained condition among the latents and large overlaps between the attention windows. Such progressive video denoising allows our models to autoregressively generate video frames without quality degradation or abrupt scene changes. We present state-of-the-art results on long video generation at 1 minute (1440 frames at 24 FPS). Videos from this paper are available at https://desaixie.github.io/pa-vdm/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google