SayTap: Language to Quadrupedal Locomotion

要約

大規模言語モデル (LLM) は、高レベルの計画を実行できる可能性を実証しています。
しかし、LLM にとって、関節角度目標やモーター トルクなどの低レベルのコマンドを理解することは依然として課題です。
この論文では、自然言語による人間のコマンドと、これらの低レベルのコマンドを出力する移動コントローラーを橋渡しするインターフェイスとして足の接触パターンを使用するアプローチを提案します。
これにより、ユーザーが多様な移動動作を柔軟に作成できる四足歩行ロボットの対話型システムが実現します。
私たちは、LLM プロンプト設計、報酬関数、およびコントローラーを接触パターンの実現可能な分布にさらす方法に貢献します。
その結果、実際のロボットのハードウェアに転送できる多様な移動パターンを実現できるコントローラーが誕生しました。
他の設計選択肢と比較して、提案されたアプローチは正しい接触パターンの予測において 50% 以上の成功率を実現し、合計 30 のタスクのうちさらに 10 のタスクを解決できます。
私たちのプロジェクト サイトは https://saytap.github.io です。

要約(オリジナル)

Large language models (LLMs) have demonstrated the potential to perform high-level planning. Yet, it remains a challenge for LLMs to comprehend low-level commands, such as joint angle targets or motor torques. This paper proposes an approach to use foot contact patterns as an interface that bridges human commands in natural language and a locomotion controller that outputs these low-level commands. This results in an interactive system for quadrupedal robots that allows the users to craft diverse locomotion behaviors flexibly. We contribute an LLM prompt design, a reward function, and a method to expose the controller to the feasible distribution of contact patterns. The results are a controller capable of achieving diverse locomotion patterns that can be transferred to real robot hardware. Compared with other design choices, the proposed approach enjoys more than 50% success rate in predicting the correct contact patterns and can solve 10 more tasks out of a total of 30 tasks. Our project site is: https://saytap.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google