CamCloneMaster: Enabling Reference-based Camera Control for Video Generation

要約

表現力豊かで映画的な映像を生成するためには、カメラの制御が重要である。既存の手法は、制御条件として明示的なカメラパラメータのシーケンスに依存しており、特に複雑なカメラの動きに対して、ユーザが構築するのが面倒な場合がある。より直感的なカメラ制御方法を提供するために、カメラパラメータやテスト時間の微調整を必要とせずに、参照動画からカメラの動きを再現できるフレームワーク、CamCloneMasterを提案します。CamCloneMasterは、統一されたフレームワークの中で、Image-to-VideoタスクとVideo-to-Videoタスクの両方の参照ベースのカメラ制御をシームレスにサポートします。さらに、カメラクローン学習用に設計された、多様なシーン、被写体、カメラの動きを含む大規模な合成データセットであるカメラクローンデータセットを紹介します。広範な実験とユーザースタディにより、CamCloneMasterがカメラの制御性と視覚的品質の両面で既存の手法を凌駕することを実証する。

要約(オリジナル)

Camera control is crucial for generating expressive and cinematic videos. Existing methods rely on explicit sequences of camera parameters as control conditions, which can be cumbersome for users to construct, particularly for intricate camera movements. To provide a more intuitive camera control method, we propose CamCloneMaster, a framework that enables users to replicate camera movements from reference videos without requiring camera parameters or test-time fine-tuning. CamCloneMaster seamlessly supports reference-based camera control for both Image-to-Video and Video-to-Video tasks within a unified framework. Furthermore, we present the Camera Clone Dataset, a large-scale synthetic dataset designed for camera clone learning, encompassing diverse scenes, subjects, and camera movements. Extensive experiments and user studies demonstrate that CamCloneMaster outperforms existing methods in terms of both camera controllability and visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL