TC4D: Trajectory-Conditioned Text-to-4D Generation

要約

テキストから 4D への生成のための最近の技術では、事前トレーニングされたテキストからビデオへのモデルからの監視を使用して動的な 3D シーンを合成します。
ただし、変形モデルや時間依存のニューラル表現などの既存のモーション表現は、生成できるモーションの量に制限があり、ボリューム レンダリングに使用される境界ボックスをはるかに超えて広がるモーションを合成することはできません。
より柔軟なモーション モデルの欠如が、4D 生成方法と最近のフォトリアリスティックに近いビデオ生成モデルとの間のリアリズムのギャップの一因となっています。
ここでは、モーションをグローバルコンポーネントとローカルコンポーネントに考慮する、軌道条件付きテキストから 4D への生成である TC4D を提案します。
スプラインでパラメータ化された軌道に沿った剛体変換を使用して、シーンの境界ボックスのグローバル モーションを表します。
テキストからビデオへのモデルからの監視を使用して、グローバルな軌道に準拠するローカルな変形を学習します。
私たちのアプローチにより、任意の軌道に沿ってアニメーション化されたシーンの合成、合成シーンの生成、生成されたモーションのリアリズムと量の大幅な改善が可能になり、これを定性的およびユーザー調査を通じて評価します。
ビデオ結果は Web サイト https://sherwinbahmani.github.io/tc4d でご覧いただけます。

要約(オリジナル)

Recent techniques for text-to-4D generation synthesize dynamic 3D scenes using supervision from pre-trained text-to-video models. However, existing representations for motion, such as deformation models or time-dependent neural representations, are limited in the amount of motion they can generate-they cannot synthesize motion extending far beyond the bounding box used for volume rendering. The lack of a more flexible motion model contributes to the gap in realism between 4D generation methods and recent, near-photorealistic video generation models. Here, we propose TC4D: trajectory-conditioned text-to-4D generation, which factors motion into global and local components. We represent the global motion of a scene’s bounding box using rigid transformation along a trajectory parameterized by a spline. We learn local deformations that conform to the global trajectory using supervision from a text-to-video model. Our approach enables the synthesis of scenes animated along arbitrary trajectories, compositional scene generation, and significant improvements to the realism and amount of generated motion, which we evaluate qualitatively and through a user study. Video results can be viewed on our website: https://sherwinbahmani.github.io/tc4d.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google