FlexMotion: Lightweight, Physics-Aware, and Controllable Human Motion Generation

要約

軽量で制御可能で、身体的にもっともらしい人間の動きの合成は、アニメーション、仮想現実、ロボット工学、および人間コンピューターの相互作用アプリケーションに不可欠です。
多くの場合、既存の方法は、計算効率、物理的リアリズム、または空間制御性の間の妥協的です。
FlexMotionを提案します。FlexMotionは、潜在空間で動作する計算的に軽量拡散モデルを活用し、物理シミュレータの必要性を排除し、高速で効率的なトレーニングを可能にする新しいフレームワークであると提案します。
FlexMotionは、マルチモーダルの事前訓練を受けたトランスエンコーダーデコーダーを採用し、共同位置、接触力、共同作動、筋肉の活性化を統合して、生成された動きの物理的妥当性を確保します。
FlexMotionはまた、プラグアンドプレイモジュールを導入します。これにより、さまざまなモーションパラメーター（ジョイント位置、共同作動、接触力、筋肉の活性化など）に空間制御性が追加されます。
私たちのフレームワークは、効率と制御が改善された現実的なモーション生成を達成し、人間のモーション合成のための新しいベンチマークを設定します。
拡張データセットのFlexMotionを評価し、リアリズム、身体的妥当性、および制御可能性の観点から優れたパフォーマンスを実証します。

要約(オリジナル)

Lightweight, controllable, and physically plausible human motion synthesis is crucial for animation, virtual reality, robotics, and human-computer interaction applications. Existing methods often compromise between computational efficiency, physical realism, or spatial controllability. We propose FlexMotion, a novel framework that leverages a computationally lightweight diffusion model operating in the latent space, eliminating the need for physics simulators and enabling fast and efficient training. FlexMotion employs a multimodal pre-trained Transformer encoder-decoder, integrating joint locations, contact forces, joint actuations and muscle activations to ensure the physical plausibility of the generated motions. FlexMotion also introduces a plug-and-play module, which adds spatial controllability over a range of motion parameters (e.g., joint locations, joint actuations, contact forces, and muscle activations). Our framework achieves realistic motion generation with improved efficiency and control, setting a new benchmark for human motion synthesis. We evaluate FlexMotion on extended datasets and demonstrate its superior performance in terms of realism, physical plausibility, and controllability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google