Perpetual Humanoid Control for Real-time Simulated Avatars

要約

我々は、ノイズの多い入力（ビデオからの姿勢推定や言語から生成された姿勢推定など）や予期せぬ転倒が存在する場合でも、忠実度の高い動きの模倣とフォールトトレラントな動作を実現する、物理ベースの人型コントローラーを紹介します。
私たちのコントローラーは、外部の安定化力を使用せずに 1 万個のモーション クリップを学習するまでスケールアップし、障害状態から自然に回復することを学習します。
基準モーションが与えられると、コントローラーはリセットを必要とせずにシミュレートされたアバターを永続的に制御できます。
その中核として、私たちは漸進的乗法制御ポリシー (PMCP) を提案します。これは、ますます困難なモーション シーケンスを学習するために新しいネットワーク容量を動的に割り当てます。
PMCP を使用すると、致命的な忘れを生じることなく、大規模なモーション データベースから学習し、障害状態の回復などの新しいタスクを追加するための効率的なスケーリングが可能になります。
ライブおよびリアルタイムの複数人アバターの使用例で、ビデオベースのポーズ推定器と言語ベースのモーション ジェネレーターからのノイズの多いポーズを模倣するためにコントローラーを使用することで、コントローラーの有効性を実証します。

要約(オリジナル)

We present a physics-based humanoid controller that achieves high-fidelity motion imitation and fault-tolerant behavior in the presence of noisy input (e.g. pose estimates from video or generated from language) and unexpected falls. Our controller scales up to learning ten thousand motion clips without using any external stabilizing forces and learns to naturally recover from fail-state. Given reference motion, our controller can perpetually control simulated avatars without requiring resets. At its core, we propose the progressive multiplicative control policy (PMCP), which dynamically allocates new network capacity to learn harder and harder motion sequences. PMCP allows efficient scaling for learning from large-scale motion databases and adding new tasks, such as fail-state recovery, without catastrophic forgetting. We demonstrate the effectiveness of our controller by using it to imitate noisy poses from video-based pose estimators and language-based motion generators in a live and real-time multi-person avatar use case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google