MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation

要約

アニメーション技術は、デジタル 3D 世界とキャラクターに命を吹き込みます。
ただし、手動アニメーションは退屈であり、自動化技術は多くの場合、狭い形状クラスに特化しています。
私たちの研究では、ビデオ拡散モデルから事前に抽出されたモーションに基づいて、さまざまな 3D 形状を自動的に再アニメーションする手法を提案します。
既存の 4D 生成方法とは異なり、モーションのみに焦点を当て、既存のコンピューター グラフィックス パイプラインと互換性のある明示的なメッシュベースの表現を活用します。
さらに、拡散機能を利用することで、モーション フィッティングの精度が向上します。
私たちはアニメーション フィッティングに対するこれらの機能の有効性を分析し、2 つの異なる拡散モデルと 4 つのアニメーション モデルに対するアプローチを実験的に検証します。
最後に、ユーザースタディにおける既存の手法と比較して、時間効率の高いゼロショット手法が、さまざまな 3D 形状のセットを再アニメーション化する優れたパフォーマンスを達成することを実証します。
プロジェクトの Web サイトは https://lukas.uzolas.com/MotionDreamer にあります。

要約(オリジナル)

Animation techniques bring digital 3D worlds and characters to life. However, manual animation is tedious and automated techniques are often specialized to narrow shape classes. In our work, we propose a technique for automatic re-animation of various 3D shapes based on a motion prior extracted from a video diffusion model. Unlike existing 4D generation methods, we focus solely on the motion, and we leverage an explicit mesh-based representation compatible with existing computer-graphics pipelines. Furthermore, our utilization of diffusion features enhances accuracy of our motion fitting. We analyze efficacy of these features for animation fitting and we experimentally validate our approach for two different diffusion models and four animation models. Finally, we demonstrate that our time-efficient zero-shot method achieves a superior performance re-animating a diverse set of 3D shapes when compared to existing techniques in a user study. The project website is located at https://lukas.uzolas.com/MotionDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google