Morph: A Motion-free Physics Optimization Framework for Human Motion Generation

要約

ヒューマンモーション生成は、デジタルヒューマンやヒューマノイドロボット制御などのアプリケーションにおいて重要な役割を果たします。
しかし、既存のアプローチのほとんどは物理的制約を無視しているため、浮きや足の滑りなどの顕著なアーティファクトを伴う物理的にありえない動作が頻繁に生成されます。
この論文では、モーション ジェネレーターとモーション フィジックス リファインメント モジュールで構成される \textbf{Mo}tion-f\textbf{r}ee \textbf{ph}ysics 最適化フレームワークである \textbf{Morph} を提案します。
コストのかかる現実世界のモーション データに依存せずに、妥当性を実現します。
具体的には、モーション ジェネレーターは大規模な合成モーション データを提供する責任を負い、モーション物理リファインメント モジュールはこれらの合成データを利用して物理シミュレーター内でモーション イミテーターをトレーニングし、物理的制約を強制してノイズの多いモーションを物理的に妥当な空間に投影します。
。
これらの物理的に洗練されたモーションは、モーション ジェネレーターを微調整するために使用され、その機能がさらに強化されます。
テキストからモーションへの生成タスクと音楽からダンスへの生成タスクの両方に関する実験により、私たちのフレームワークが物理的な妥当性を大幅に向上させながら、最先端のモーション生成品質を達成していることが実証されました。

要約(オリジナル)

Human motion generation plays a vital role in applications such as digital humans and humanoid robot control. However, most existing approaches disregard physics constraints, leading to the frequent production of physically implausible motions with pronounced artifacts such as floating and foot sliding. In this paper, we propose \textbf{Morph}, a \textbf{Mo}tion-f\textbf{r}ee \textbf{ph}ysics optimization framework, comprising a Motion Generator and a Motion Physics Refinement module, for enhancing physical plausibility without relying on costly real-world motion data. Specifically, the Motion Generator is responsible for providing large-scale synthetic motion data, while the Motion Physics Refinement Module utilizes these synthetic data to train a motion imitator within a physics simulator, enforcing physical constraints to project the noisy motions into a physically-plausible space. These physically refined motions, in turn, are used to fine-tune the Motion Generator, further enhancing its capability. Experiments on both text-to-motion and music-to-dance generation tasks demonstrate that our framework achieves state-of-the-art motion generation quality while improving physical plausibility drastically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google