DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds

要約

このペーパーでは、正確なカメラの軌跡を条件とした安定した一貫したキャラクターとシーンの動きを生成できる斬新なキャラクターアートアニメーションフレームワークであるDreamDanceを紹介します。
これを実現するために、アニメーションタスクを2つのインパインティングベースの手順として再構成します。カメラ認識シーンのインパインティングとポーズアウェアビデオの入力です。
最初のステップでは、事前に訓練された画像の開始モデルを活用して、参照アートからマルチビューシーン画像を生成し、カメラの軌跡を使用した粗い背景ビデオレンダリングを可能にする安定した大規模なガウスフィールドを最適化します。
ただし、レンダリングされたビデオは荒く、シーンの動きのみを伝えるだけです。
これを解決するために、2番目のステップでは、背景の品質を向上させながら、ダイナミックキャラクターをシーンビデオに注入するポーズアウェアビデオの入力モデルをトレーニングします。
具体的には、このモデルは、キャラクターの外観を適応的に統合し、情報をベースバックグラウンドビデオにポーズするゲーティング戦略を備えたDITベースのビデオ生成モデルです。
広範な実験を通じて、ドリームダンスの有効性と一般化可能性を実証し、驚くべきカメラダイナミクスを備えた高品質で一貫したキャラクターアニメーションを生成します。

要約(オリジナル)

This paper presents DreamDance, a novel character art animation framework capable of producing stable, consistent character and scene motion conditioned on precise camera trajectories. To achieve this, we re-formulate the animation task as two inpainting-based steps: Camera-aware Scene Inpainting and Pose-aware Video Inpainting. The first step leverages a pre-trained image inpainting model to generate multi-view scene images from the reference art and optimizes a stable large-scale Gaussian field, which enables coarse background video rendering with camera trajectories. However, the rendered video is rough and only conveys scene motion. To resolve this, the second step trains a pose-aware video inpainting model that injects the dynamic character into the scene video while enhancing background quality. Specifically, this model is a DiT-based video generation model with a gating strategy that adaptively integrates the character’s appearance and pose information into the base background video. Through extensive experiments, we demonstrate the effectiveness and generalizability of DreamDance, producing high-quality and consistent character animations with remarkable camera dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google