MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation

要約

大規模言語モデル (LLM) は、ロボット操作やナビゲーションなど、さまざまな領域にわたって優れた計画能力を実証してきました。
ロボット工学における最近の取り組みでは、高レベルと低レベルの両方の計画に LLM が活用されていますが、これらのアプローチは、長期的なタスクでの幻覚や、現実の計画を行わずに 1 回のパスで計画を生成することによる適応性の制限など、多くの場合、重大な課題に直面しています。
時間のフィードバック。
これらの制限に対処するために、私たちは、新しいマルチエージェント LLM フレームワークである Multi-Agent Large Language Model for Manipulation (MALMM) を提案します。これは、高レベルの計画と低レベルの制御コード生成を特殊な LLM エージェント全体に分散し、追加のエージェントによって監視されます。
遷移を動的に管理します。
各ステップの後に環境からの観察を組み込むことにより、私たちのフレームワークは中間障害を効果的に処理し、適応的な再計画を可能にします。
既存の手法とは異なり、私たちのアプローチは、事前にトレーニングされたスキル ポリシーやコンテキスト内の学習例に依存せず、さまざまな新しいタスクに一般化されます。
私たちは、長期タスクを含む 9 つの RLBench タスクに対するアプローチを評価し、ロボット操作をゼロショット設定で解決する能力を実証し、それによって既存の LLM ベースの操作方法の主要な制限を克服します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable planning abilities across various domains, including robotics manipulation and navigation. While recent efforts in robotics have leveraged LLMs both for high-level and low-level planning, these approaches often face significant challenges, such as hallucinations in long-horizon tasks and limited adaptability due to the generation of plans in a single pass without real-time feedback. To address these limitations, we propose a novel multi-agent LLM framework, Multi-Agent Large Language Model for Manipulation (MALMM) that distributes high-level planning and low-level control code generation across specialized LLM agents, supervised by an additional agent that dynamically manages transitions. By incorporating observations from the environment after each step, our framework effectively handles intermediate failures and enables adaptive re-planning. Unlike existing methods, our approach does not rely on pre-trained skill policies or in-context learning examples and generalizes to a variety of new tasks. We evaluate our approach on nine RLBench tasks, including long-horizon tasks, and demonstrate its ability to solve robotics manipulation in a zero-shot setting, thereby overcoming key limitations of existing LLM-based manipulation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google