Large Language Models for Orchestrating Bimanual Robots

要約

ロボットに複雑な操作タスクを解決する能力を与えることは急速に進歩しているが、効果的な時間的および空間的調整が難しいため、両手を使うタスクを解決するための両手ロボット用の制御ポリシーを生成することは依然として困難である。
大規模言語モデル (LLM) は、ステップバイステップの推論とコンテキスト内学習という新しい能力により、さまざまなロボット タスクを制御できるようになりました。
ただし、離散記号の単一シーケンスを介した言語コミュニケーションの性質により、連続空間での LLM ベースの調整は両手作業の場合に特に困難になります。
LLM によって初めてこの課題に取り組むために、LLM を利用してタスク構成を分析し、長期にわたる両手タスクに対処するための調整制御ポリシーを考案するエージェントである、言語モデルベースの両手オーケストレーション (LABOR) を紹介します。
シミュレートされた環境では、LABOR エージェントは、NICOL ヒューマノイド ロボット上のいくつかの日常タスクを通じて評価されます。
報告された成功率は、全体的な調整効率が最適なパフォーマンスに近いことを示していますが、空間的および時間的な調整とスキルの選択に分類された失敗の原因の分析では、これらがタスクによって異なることが示されています。
プロジェクトの Web サイトは http://labor-agent.github.io にあります。

要約(オリジナル)

Although there has been rapid progress in endowing robots with the ability to solve complex manipulation tasks, generating control policies for bimanual robots to solve tasks involving two hands is still challenging because of the difficulties in effective temporal and spatial coordination. With emergent abilities in terms of step-by-step reasoning and in-context learning, Large Language Models (LLMs) have taken control of a variety of robotic tasks. However, the nature of language communication via a single sequence of discrete symbols makes LLM-based coordination in continuous space a particular challenge for bimanual tasks. To tackle this challenge for the first time by an LLM, we present LAnguage-model-based Bimanual ORchestration (LABOR), an agent utilizing an LLM to analyze task configurations and devise coordination control policies for addressing long-horizon bimanual tasks. In the simulated environment, the LABOR agent is evaluated through several everyday tasks on the NICOL humanoid robot. Reported success rates indicate that overall coordination efficiency is close to optimal performance, while the analysis of failure causes, classified into spatial and temporal coordination and skill selection, shows that these vary over tasks. The project website can be found at http://labor-agent.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google