Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control

要約

最近、ビデオ生成に関する研究が大幅に進歩し、テキスト プロンプトや画像から高品質のビデオを生成できるようになりました。
ビデオ生成プロセスに制御を追加することは、今後の重要な目標であり、カメラの軌跡に基づいてビデオ生成モデルを条件付ける最近のアプローチがそれに向かって前進しています。
しかし、複数の異なるカメラの軌跡から同じシーンのビデオを生成することは依然として困難です。
このマルチビデオ生成の問題を解決すると、他のアプリケーションの中でも、編集可能なカメラ軌跡を備えた大規模な 3D シーンの生成が可能になる可能性があります。
このビジョンに向けた重要なステップとして、共同ビデオ拡散 (CVD) を導入します。
CVD フレームワークには、エピポーラ アテンション メカニズムを使用して、異なるカメラ ポーズからレンダリングされた同じビデオの対応するフレーム間の一貫性を促進する、新しいクロスビデオ同期モジュールが含まれています。
ビデオ生成用の最先端のカメラ制御モジュール上でトレーニングされた CVD は、広範な実験で示されているように、ベースラインよりも大幅に優れた一貫性で、さまざまなカメラの軌跡からレンダリングされた複数のビデオを生成します。
プロジェクトページ: https://collaborativevideodiffusion.github.io/。

要約(オリジナル)

Research on video generation has recently made tremendous progress, enabling high-quality videos to be generated from text prompts or images. Adding control to the video generation process is an important goal moving forward and recent approaches that condition video generation models on camera trajectories make strides towards it. Yet, it remains challenging to generate a video of the same scene from multiple different camera trajectories. Solutions to this multi-video generation problem could enable large-scale 3D scene generation with editable camera trajectories, among other applications. We introduce collaborative video diffusion (CVD) as an important step towards this vision. The CVD framework includes a novel cross-video synchronization module that promotes consistency between corresponding frames of the same video rendered from different camera poses using an epipolar attention mechanism. Trained on top of a state-of-the-art camera-control module for video generation, CVD generates multiple videos rendered from different camera trajectories with significantly better consistency than baselines, as shown in extensive experiments. Project page: https://collaborativevideodiffusion.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google