Virtual Pets: Animatable Animal Generation in 3D Scenes

要約

没入型 4D エクスペリエンスにおける生成モデルの可能性を解き放つために、3D 環境内で対象となる動物種のリアルで多様な動きをモデル化する新しいパイプラインである Virtual Pet を紹介します。
環境ジオメトリに合わせた 3D モーション データの利用制限を回避するために、単眼のインターネット ビデオを活用し、前景の変形可能な NeRF 表現と背景の静的な NeRF 表現を抽出します。
このため、私たちは種レベルの共有テンプレート学習とビデオごとの微調整を含む再構成戦略を開発します。
再構成されたデータを利用して、条件付き 3D 運動モデルをトレーニングして、3D 背景のコンテキストにおける前景の動物の軌道と関節運動を学習します。
猫のビデオを使用した包括的な定性的および定量的評価により、パイプラインの有効性を紹介します。
また、目に見えない猫や屋内環境にわたる多用途性も実証し、時間的に一貫した 4D 出力を生成して、豊かな仮想体験を実現します。

要約(オリジナル)

Toward unlocking the potential of generative models in immersive 4D experiences, we introduce Virtual Pet, a novel pipeline to model realistic and diverse motions for target animal species within a 3D environment. To circumvent the limited availability of 3D motion data aligned with environmental geometry, we leverage monocular internet videos and extract deformable NeRF representations for the foreground and static NeRF representations for the background. For this, we develop a reconstruction strategy, encompassing species-level shared template learning and per-video fine-tuning. Utilizing the reconstructed data, we then train a conditional 3D motion model to learn the trajectory and articulation of foreground animals in the context of 3D backgrounds. We showcase the efficacy of our pipeline with comprehensive qualitative and quantitative evaluations using cat videos. We also demonstrate versatility across unseen cats and indoor environments, producing temporally coherent 4D outputs for enriched virtual experiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google