CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation

要約

近年、一般ユーザーが容易に利用できる高品質なビデオコンテンツ作成のための表現力豊かな生成ツールとして、ビデオ普及モデルが登場しています。
ただし、これらのモデルではビデオ生成のためのカメラのポーズを正確に制御できないことが多く、映画言語の表現やユーザー制御が制限されます。
この問題に対処するために、画像からビデオへの生成のためのきめ細かいカメラ ポーズ制御を可能にする CamCo を導入します。
事前にトレーニングされた画像からビデオへのジェネレーターに、プルカー座標を使用して正確にパラメーター化されたカメラ ポーズ入力を装備します。
制作されたビデオの 3D 一貫性を高めるために、特徴マップにエピポーラ制約を強制するエピポーラ アテンション モジュールを各アテンション ブロックに統合します。
さらに、オブジェクトの動きをより適切に合成するために、動きから構造を推定するアルゴリズムを通じて推定されたカメラのポーズを使用して、現実世界のビデオで CamCo を微調整します。
私たちの実験では、CamCo が以前のモデルと比較して 3D の一貫性とカメラ制御機能を大幅に向上させながら、もっともらしいオブジェクトの動きを効果的に生成することが示されました。
プロジェクトページ：https://ir1d.github.io/CamCo/

要約(オリジナル)

Recently video diffusion models have emerged as expressive generative tools for high-quality video content creation readily available to general users. However, these models often do not offer precise control over camera poses for video generation, limiting the expression of cinematic language and user control. To address this issue, we introduce CamCo, which allows fine-grained Camera pose Control for image-to-video generation. We equip a pre-trained image-to-video generator with accurately parameterized camera pose input using Pl\’ucker coordinates. To enhance 3D consistency in the videos produced, we integrate an epipolar attention module in each attention block that enforces epipolar constraints to the feature maps. Additionally, we fine-tune CamCo on real-world videos with camera poses estimated through structure-from-motion algorithms to better synthesize object motion. Our experiments show that CamCo significantly improves 3D consistency and camera control capabilities compared to previous models while effectively generating plausible object motion. Project page: https://ir1d.github.io/CamCo/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google