InsActor: Instruction-driven Physics-based Characters

要約

直感的な制御で物理ベースのキャラクターのアニメーションを生成することは、多くのアプリケーションで長い間望まれてきたタスクです。
ただし、人間の高度な指示を反映した物理的にシミュレートされたアニメーションを生成することは、物理環境の複雑さと人間の言語の豊富さのため、依然として難しい問題です。
この論文では、拡散ベースの人間動作モデルの最近の進歩を利用して、物理ベースのキャラクターの命令駆動アニメーションを生成する原理に基づいた生成フレームワークである InsActor を紹介します。
私たちのフレームワークは、柔軟に条件付けされたモーション プランニングのための拡散ポリシーを採用することにより、InsActor が高レベルの人間の指示とキャラクターのモーションの間の複雑な関係をキャプチャできるようにします。
計画されたモーションにおける無効な状態と実行不可能な状態遷移を克服するために、InsActor は低レベルのスキルを発見し、コンパクトな潜在空間内の潜在的なスキル シーケンスに計画をマッピングします。
広範な実験により、InsActor が命令駆動のモーション生成や命令駆動のウェイポイントヘディングなどのさまざまなタスクで最先端の結果を達成できることが実証されています。
特に、人間による高レベルの命令を使用して物理的にシミュレートされたアニメーションを生成する InsActor の機能は、特に豊富な命令セットを使用して長期にわたるタスクを実行する場合に、InsActor を貴重なツールにしています。

要約(オリジナル)

Generating animation of physics-based characters with intuitive control has long been a desirable task with numerous applications. However, generating physically simulated animations that reflect high-level human instructions remains a difficult problem due to the complexity of physical environments and the richness of human language. In this paper, we present InsActor, a principled generative framework that leverages recent advancements in diffusion-based human motion models to produce instruction-driven animations of physics-based characters. Our framework empowers InsActor to capture complex relationships between high-level human instructions and character motions by employing diffusion policies for flexibly conditioned motion planning. To overcome invalid states and infeasible state transitions in planned motions, InsActor discovers low-level skills and maps plans to latent skill sequences in a compact latent space. Extensive experiments demonstrate that InsActor achieves state-of-the-art results on various tasks, including instruction-driven motion generation and instruction-driven waypoint heading. Notably, the ability of InsActor to generate physically simulated animations using high-level human instructions makes it a valuable tool, particularly in executing long-horizon tasks with a rich set of instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google