LAGOON: Language-Guided Motion Control

要約

私たちは、「側転」や「キック」などの高級言語コマンドに従って、現実世界で物理的に動作するようにロボットを制御することを目指しています。
人間の動作データセットは存在しますが、生成モデルは物理的に非現実的な動作を生成する可能性があるため、このタスクは依然として特に困難であり、ロボットの場合は体の構造や物理的特性が異なるため、より厳しいものとなります。
このようなモーションを物理的なロボットに展開すると、sim2real のギャップによりさらに大きな困難が生じる可能性があります。
私たちは、言語コマンドの下で物理的に現実的なロボットの動きを生成するための多段階強化学習 (RL) 手法である、言語ガイド付きモーション コントロール (LAGOON) を開発しています。
LAGOON はまず、事前トレーニング済みモデルを活用して、言語コマンドから人間の動作を生成します。
次に、RL フェーズでは、生成された人間の動作を模倣するために、シミュレーションで制御ポリシーをトレーニングします。
最後に、ドメインのランダム化により、学習したポリシーを四足歩行ロボットに展開することができ、自然言語コマンドの下で現実世界で多様な動作を実行できる四足歩行ロボットが実現します。

要約(オリジナル)

We aim to control a robot to physically behave in the real world following any high-level language command like ‘cartwheel’ or ‘kick’. Although human motion datasets exist, this task remains particularly challenging since generative models can produce physically unrealistic motions, which will be more severe for robots due to different body structures and physical properties. Deploying such a motion to a physical robot can cause even greater difficulties due to the sim2real gap. We develop LAnguage-Guided mOtion cONtrol (LAGOON), a multi-phase reinforcement learning (RL) method to generate physically realistic robot motions under language commands. LAGOON first leverages a pretrained model to generate a human motion from a language command. Then an RL phase trains a control policy in simulation to mimic the generated human motion. Finally, with domain randomization, our learned policy can be deployed to a quadrupedal robot, leading to a quadrupedal robot that can take diverse behaviors in the real world under natural language commands

arxiv情報

提供元, 利用サービス

arxiv.jp, Google