Long-horizon Locomotion and Manipulation on a Quadrupedal Robot with Large Language Models

要約

大規模な言語モデル（LLM）ベースのシステムを提示して、短期的な動きを超えた長老タスクの問題解決能力を備えたクアドルペダルロボットを強化します。
四足動物の長距離タスクは、タスク計画のための問題のセマンティクスの高レベルの理解と、環境と対話するための幅広い運動と操作スキルの両方を必要とするため、困難です。
当社のシステムは、大規模な言語モデルを備えた高レベルの推論レイヤーを構築し、タスクの説明からロボットコードとしてハイブリッドの離散的な連続計画を生成します。
複数のLLMエージェントで構成されています。プランをスケッチするセマンティックプランナー、プランの引数を予測するパラメーター計算機、プランを実行可能ロボットコードに変換するコードジェネレーター、および実行障害または人間の介入を処理するReplanner。
低レベルでは、強化学習を採用して、豊かな環境相互作用のための四足動物の柔軟性を解き放つために、一連の動きの計画と制御スキルを訓練します。
私たちのシステムは、1つのスキルを完了することができない長距離タスクでテストされています。
シミュレーションと現実世界の実験は、マルチステップ戦略を成功裏に把握し、ツールの構築や人間に助けを求めることを含む非自明の行動を実証することを示しています。
デモは、プロジェクトページ（https://sites.google.com/view/long-horizo​​n-robot）で入手できます。

要約(オリジナル)

We present a large language model (LLM) based system to empower quadrupedal robots with problem-solving abilities for long-horizon tasks beyond short-term motions. Long-horizon tasks for quadrupeds are challenging since they require both a high-level understanding of the semantics of the problem for task planning and a broad range of locomotion and manipulation skills to interact with the environment. Our system builds a high-level reasoning layer with large language models, which generates hybrid discrete-continuous plans as robot code from task descriptions. It comprises multiple LLM agents: a semantic planner that sketches a plan, a parameter calculator that predicts arguments in the plan, a code generator that converts the plan into executable robot code, and a replanner that handles execution failures or human interventions. At the low level, we adopt reinforcement learning to train a set of motion planning and control skills to unleash the flexibility of quadrupeds for rich environment interactions. Our system is tested on long-horizon tasks that are infeasible to complete with one single skill. Simulation and real-world experiments show that it successfully figures out multi-step strategies and demonstrates non-trivial behaviors, including building tools or notifying a human for help. Demos are available on our project page: https://sites.google.com/view/long-horizon-robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google