ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

要約

カメラ制御は、テキストまたは画像条件付けられたビデオ生成タスクで積極的に研究されています。
ただし、ビデオの作成の分野での重要性にもかかわらず、特定のビデオのカメラの軌跡を変更することは、依存していないままです。
複数フレームの外観と動的同期を維持するという追加の制約のため、それは自明ではありません。
これに対処するために、新しいカメラの軌跡で入力ビデオの動的なシーンを再現するカメラ制御の生成ビデオ再レンダリングフレームワークであるRecamamasterを提示します。
コアイノベーションは、シンプルでありながら強力なビデオコンディショニングメカニズムを通じて、事前に訓練されたテキストからビデオへの生成能力を活用することにあります。
資格のあるトレーニングデータの不足を克服するために、Unreal Engine 5を使用して包括的なマルチカメラ同期ビデオデータセットを構築します。
これは、モデルが野生のビデオに一般化するのに役立ちます。
最後に、細心の注意を払って設計されたトレーニング戦略を通じて、多様な入力に対する堅牢性をさらに改善します。
広範な実験では、私たちの方法は、既存の最先端のアプローチと強力なベースラインを大幅に上回ることを示しています。
また、私たちの方法では、ビデオの安定化、超解像度、および中断に有望なアプリケーションを見つけます。
プロジェクトページ：https：//jianhongbai.github.io/recammaster/

要約(オリジナル)

Camera control has been actively studied in text or image conditioned video generation tasks. However, altering camera trajectories of a given video remains under-explored, despite its importance in the field of video creation. It is non-trivial due to the extra constraints of maintaining multiple-frame appearance and dynamic synchronization. To address this, we present ReCamMaster, a camera-controlled generative video re-rendering framework that reproduces the dynamic scene of an input video at novel camera trajectories. The core innovation lies in harnessing the generative capabilities of pre-trained text-to-video models through a simple yet powerful video conditioning mechanism — its capability often overlooked in current research. To overcome the scarcity of qualified training data, we construct a comprehensive multi-camera synchronized video dataset using Unreal Engine 5, which is carefully curated to follow real-world filming characteristics, covering diverse scenes and camera movements. It helps the model generalize to in-the-wild videos. Lastly, we further improve the robustness to diverse inputs through a meticulously designed training strategy. Extensive experiments tell that our method substantially outperforms existing state-of-the-art approaches and strong baselines. Our method also finds promising applications in video stabilization, super-resolution, and outpainting. Project page: https://jianhongbai.github.io/ReCamMaster/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google