Autoregressive Video Generation without Vector Quantization

要約

この論文では、高効率の自己回帰ビデオ生成を可能にする新しいアプローチを紹介します。
我々は、時間的なフレームごとの予測と空間的なセットごとの予測の非量子化自己回帰モデリングとしてビデオ生成問題を再定式化することを提案します。
以前の自己回帰モデルにおけるラスター スキャン予測や、拡散モデルにおける固定長トークンの同時分布モデリングとは異なり、私たちのアプローチは、効率性のために個々のフレーム内で双方向モデリングを活用しながら、柔軟なインコンテキスト機能のために GPT スタイル モデルの因果特性を維持します。
提案されたアプローチを使用して、NOVA と呼ばれる、ベクトル量子化を行わない新しいビデオ自己回帰モデルをトレーニングします。
私たちの結果は、NOVA が、はるかに小さいモデル容量 (つまり 0.6B パラメーター) であっても、データ効率、推論速度、視覚的忠実度、およびビデオの流暢性において以前の自己回帰ビデオ モデルを上回っていることを示しています。
また、NOVA は、テキストから画像への生成タスクにおいて、最先端の画像拡散モデルよりも優れたパフォーマンスを発揮し、トレーニング コストを大幅に削減します。
さらに、NOVA は長時間のビデオにわたって適切に汎用化し、1 つの統合モデルで多様なゼロショット アプリケーションを可能にします。
コードとモデルは https://github.com/baaivision/NOVA で公開されています。

要約(オリジナル)

This paper presents a novel approach that enables autoregressive video generation with high efficiency. We propose to reformulate the video generation problem as a non-quantized autoregressive modeling of temporal frame-by-frame prediction and spatial set-by-set prediction. Unlike raster-scan prediction in prior autoregressive models or joint distribution modeling of fixed-length tokens in diffusion models, our approach maintains the causal property of GPT-style models for flexible in-context capabilities, while leveraging bidirectional modeling within individual frames for efficiency. With the proposed approach, we train a novel video autoregressive model without vector quantization, termed NOVA. Our results demonstrate that NOVA surpasses prior autoregressive video models in data efficiency, inference speed, visual fidelity, and video fluency, even with a much smaller model capacity, i.e., 0.6B parameters. NOVA also outperforms state-of-the-art image diffusion models in text-to-image generation tasks, with a significantly lower training cost. Additionally, NOVA generalizes well across extended video durations and enables diverse zero-shot applications in one unified model. Code and models are publicly available at https://github.com/baaivision/NOVA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google