TapMo: Shape-aware Motion Generation of Skeleton-free Characters

要約

以前のモーション生成方法は、事前にリグが設定された 3D 人体モデルに限定されており、リグが設定されていないさまざまなキャラクターのアニメーションへの応用が妨げられていました。
この作品では、スケルトンのない 3D キャラクターの幅広い範囲でモーションを合成するためのテキスト駆動アニメーション パイプラインである TapMo を紹介します。
TapMo の極めて重要な革新は、形状変形を考慮した機能を拡散モデルをガイドする条件として使用することにより、さまざまなキャラクターのメッシュ固有のモーションの生成を可能にすることです。
具体的には、TapMo は、メッシュ ハンドル プレディクターと形状認識拡散モジュールという 2 つの主要コンポーネントで構成されています。
メッシュ ハンドル プレディクターは、スキニング ウェイトを予測し、変形制御のためにメッシュの頂点を適応ハンドルにクラスター化します。これにより、従来のスケルトン リギングの必要がなくなります。
形状認識モーション拡散は、メッシュ固有の適応を使用してモーションを合成します。
このモジュールは、テキストガイドによるモーションと第 1 段階で抽出されたメッシュ特徴を採用し、キャラクターの形状と変形を考慮してアニメーションの幾何学的完全性を維持します。
弱く監視された方法でトレーニングされた TapMo は、関連するテキスト モーションの有無にかかわらず、多数の非人間メッシュに対応できます。
私たちは、厳密な定性的および定量的な実験を通じて、TapMo の有効性と一般化可能性を実証します。
私たちの結果は、TapMo が既存の自動アニメーション手法を常に上回っており、目に見える、または見えない異種 3D キャラクターに対して高品質のアニメーションを提供することを明らかにしています。

要約(オリジナル)

Previous motion generation methods are limited to the pre-rigged 3D human model, hindering their applications in the animation of various non-rigged characters. In this work, we present TapMo, a Text-driven Animation Pipeline for synthesizing Motion in a broad spectrum of skeleton-free 3D characters. The pivotal innovation in TapMo is its use of shape deformation-aware features as a condition to guide the diffusion model, thereby enabling the generation of mesh-specific motions for various characters. Specifically, TapMo comprises two main components – Mesh Handle Predictor and Shape-aware Diffusion Module. Mesh Handle Predictor predicts the skinning weights and clusters mesh vertices into adaptive handles for deformation control, which eliminates the need for traditional skeletal rigging. Shape-aware Motion Diffusion synthesizes motion with mesh-specific adaptations. This module employs text-guided motions and mesh features extracted during the first stage, preserving the geometric integrity of the animations by accounting for the character’s shape and deformation. Trained in a weakly-supervised manner, TapMo can accommodate a multitude of non-human meshes, both with and without associated text motions. We demonstrate the effectiveness and generalizability of TapMo through rigorous qualitative and quantitative experiments. Our results reveal that TapMo consistently outperforms existing auto-animation methods, delivering superior-quality animations for both seen or unseen heterogeneous 3D characters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google