Large Language Models for Orchestrating Bimanual Robots

要約

ロボットに複雑な操作タスクを解決する能力を与えることは急速に進歩しているが、効果的な時間的および空間的調整が難しいため、両手を使うロボットが両手を含むタスクを解決するための制御ポリシーを生成することは依然として困難である。
大規模言語モデル (LLM) は、ステップバイステップの推論とコンテキスト内学習という新たな能力を備え、さまざまなロボット タスクにおいて有望な可能性を示しています。
ただし、離散記号の単一シーケンスを介した言語コミュニケーションの性質により、連続空間での LLM ベースの調整は両手作業の場合に特に困難になります。
この課題に取り組むために、LLM を利用してタスク構成を分析し、長期的な両手タスクに対処するための調整制御ポリシーを考案するエージェントである、LAnguage モデルベースの Bimanual ORchestration (LABOR) を紹介します。
NICOL ヒューマノイド ロボットを使用した 2 つのクラスの長期タスクを含む模擬実験を通じて、この方法を評価します。
私たちの結果は、成功率の点で私たちの方法がベースラインを上回っていることを示しています。
さらに、失敗事例を徹底的に分析し、両手ロボット制御における LLM ベースのアプローチについての洞察を提供し、将来の研究トレンドを明らかにします。
プロジェクトの Web サイトは http://labor-agent.github.io にあります。

要約(オリジナル)

Although there has been rapid progress in endowing robots with the ability to solve complex manipulation tasks, generating control policies for bimanual robots to solve tasks involving two hands is still challenging because of the difficulties in effective temporal and spatial coordination. With emergent abilities in terms of step-by-step reasoning and in-context learning, Large Language Models (LLMs) have demonstrated promising potential in a variety of robotic tasks. However, the nature of language communication via a single sequence of discrete symbols makes LLM-based coordination in continuous space a particular challenge for bimanual tasks. To tackle this challenge, we present LAnguage-model-based Bimanual ORchestration (LABOR), an agent utilizing an LLM to analyze task configurations and devise coordination control policies for addressing long-horizon bimanual tasks. We evaluate our method through simulated experiments involving two classes of long-horizon tasks using the NICOL humanoid robot. Our results demonstrate that our method outperforms the baseline in terms of success rate. Additionally, we thoroughly analyze failure cases, offering insights into LLM-based approaches in bimanual robotic control and revealing future research trends. The project website can be found at http://labor-agent.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google