CLoSD: Closing the Loop between Simulation and Diffusion for multi-task character control

要約

モーション拡散モデルと物理ベースシミュレーションのための強化学習（RL）ベースの制御は、人間のモーション生成において相補的な強みを持つ。前者はテキストなどの直感的な操作に忠実に、多様なモーションを生成することが可能であり、後者は物理的にもっともらしいモーションと環境との直接的なインタラクションを提供する。本研究では、それぞれの長所を組み合わせた手法を提案する。CLoSDはテキスト駆動のRL物理ベースコントローラであり、様々なタスクに対して拡散生成によって導かれる。我々の重要な洞察は、運動拡散がロバストなRLコントローラのためのオンザフライのユニバーサルプランナーとして機能することができるということである。この目的のために、CLoSDは拡散プランナー（DiP）とトラッキングコントローラという2つのモジュールの間の閉ループ相互作用を維持する。DiPは高速に応答する自己回帰拡散モデルであり、テキストによるプロンプトとターゲット位置によって制御され、コントローラはシンプルでロバストな運動模倣器であり、DiPから継続的に運動計画を受け取り、環境からのフィードバックを提供する。CLoSDは、目標位置へのナビゲーション、テキストプロンプトで指定された手や足で物体を叩く、座る、立ち上がるなど、一連の異なるタスクをシームレスに実行することができる。https://guytevet.github.io/CLoSD-page/

要約(オリジナル)

Motion diffusion models and Reinforcement Learning (RL) based control for physics-based simulations have complementary strengths for human motion generation. The former is capable of generating a wide variety of motions, adhering to intuitive control such as text, while the latter offers physically plausible motion and direct interaction with the environment. In this work, we present a method that combines their respective strengths. CLoSD is a text-driven RL physics-based controller, guided by diffusion generation for various tasks. Our key insight is that motion diffusion can serve as an on-the-fly universal planner for a robust RL controller. To this end, CLoSD maintains a closed-loop interaction between two modules — a Diffusion Planner (DiP), and a tracking controller. DiP is a fast-responding autoregressive diffusion model, controlled by textual prompts and target locations, and the controller is a simple and robust motion imitator that continuously receives motion plans from DiP and provides feedback from the environment. CLoSD is capable of seamlessly performing a sequence of different tasks, including navigation to a goal location, striking an object with a hand or foot as specified in a text prompt, sitting down, and getting up. https://guytevet.github.io/CLoSD-page/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL