Free-Form Motion Control: A Synthetic Video Generation Dataset with Controllable Camera and Object Motions

要約

生成されたビデオ内の動的オブジェクトとカメラの動きを制御することは、有意義でありながら困難なタスクである。包括的なモーションアノテーションを持つデータセットがないため、既存のアルゴリズムではカメラとオブジェクトの両方のモーションを同時に制御することができず、その結果、生成されたコンテンツに対する制御性が制限される。この問題に対処し、この分野の研究を促進するために、我々はフリーフォームモーション制御のための合成データセット（SynFMC）を紹介する。提案するSynFMCデータセットは、多様なオブジェクトと環境を含み、一般的で複雑な実世界のシナリオをシミュレートし、特定のルールに従って様々なモーションパターンをカバーする。完全な6次元のポーズ情報は、ビデオ中のオブジェクトとカメラからの動きの影響を切り離すモデル学習を容易にする。SynFMCの有効性と一般性を検証するために、我々はさらにフリーフォームモーションコントロール（FMC）という手法を提案する。FMCは、物体の動きとカメラの動きを独立または同時に制御し、忠実度の高い映像を生成することができます。さらに、様々なコンテンツスタイルに対応する様々なパーソナライズドT2I（text-to-image）モデルと互換性がある。広範な実験により、提案するFMCが複数のシナリオにおいて従来の手法を凌駕することを実証する。

要約(オリジナル)

Controlling the movements of dynamic objects and the camera within generated videos is a meaningful yet challenging task. Due to the lack of datasets with comprehensive motion annotations, existing algorithms can not simultaneously control the motions of both camera and objects, resulting in limited controllability over generated contents. To address this issue and facilitate the research in this field, we introduce a Synthetic Dataset for Free-Form Motion Control (SynFMC). The proposed SynFMC dataset includes diverse objects and environments and covers various motion patterns according to specific rules, simulating common and complex real-world scenarios. The complete 6D pose information facilitates models learning to disentangle the motion effects from objects and the camera in a video. To validate the effectiveness and generalization of SynFMC, we further propose a method, Free-Form Motion Control (FMC). FMC enables independent or simultaneous control of object and camera movements, producing high-fidelity videos. Moreover, it is compatible with various personalized text-to-image (T2I) models for different content styles. Extensive experiments demonstrate that the proposed FMC outperforms previous methods across multiple scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL