MikuDance: Animating Character Art with Mixed Motion Dynamics

要約

私たちは、混合モーション ダイナミクスを組み込んで様式化されたキャラクター アートをアニメーション化する拡散ベースのパイプラインである、MikuDance を提案します。
ikuDance は、ミックス モーション モデリングとミックス コントロール拡散という 2 つの主要な技術で構成されており、キャラクター アート アニメーションにおける高ダイナミック モーションとリファレンス ガイドのずれという課題に対処します。
具体的には、ピクセル単位の空間で動的カメラを明示的にモデル化するシーン モーション トラッキング戦略が提示され、統一されたキャラクターとシーンのモーション モデリングが可能になります。
これに基づいて、混合コントロール ディフュージョンは、モーション ガイダンスを使用してさまざまなキャラクターのスケールと体の形状を暗黙的に調整し、ローカル キャラクターのモーションを柔軟に制御できるようにします。
その後、モーション アダプティブ正規化モジュールが組み込まれ、グローバル シーン モーションを効果的に挿入し、包括的なキャラクター アート アニメーションへの道を開きます。
広範な実験を通じて、さまざまなキャラクター アートやモーション ガイダンスにわたる MitoDance の有効性と汎用性を実証し、驚くべきモーション ダイナミクスを備えた高品質のアニメーションを一貫して生成します。

要約(オリジナル)

We propose MikuDance, a diffusion-based pipeline incorporating mixed motion dynamics to animate stylized character art. MikuDance consists of two key techniques: Mixed Motion Modeling and Mixed-Control Diffusion, to address the challenges of high-dynamic motion and reference-guidance misalignment in character art animation. Specifically, a Scene Motion Tracking strategy is presented to explicitly model the dynamic camera in pixel-wise space, enabling unified character-scene motion modeling. Building on this, the Mixed-Control Diffusion implicitly aligns the scale and body shape of diverse characters with motion guidance, allowing flexible control of local character motion. Subsequently, a Motion-Adaptive Normalization module is incorporated to effectively inject global scene motion, paving the way for comprehensive character art animation. Through extensive experiments, we demonstrate the effectiveness and generalizability of MikuDance across various character art and motion guidance, consistently producing high-quality animations with remarkable motion dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google