EMOS: Embodiment-aware Heterogeneous Multi-robot Operating System with LLM Agents

要約

不均一なマルチロボットシステム（HMR）は、単一のロボットが単独で管理できない複雑なタスクに取り組むための強力なアプローチとして浮上しています。
現在の大型言語モデルベースのマルチエージェントシステム（LLMベースのMAS）は、ソフトウェア開発やオペレーティングシステムなどの分野で成功を示していますが、これらのシステムをロボットコントロールに適用すると、独自の課題が発生します。
特に、マルチロボットシステムの各エージェントの機能は、事前定義された役割ではなく、ロボットの物理的構成に本質的に結び付けられています。
この問題に対処するために、さまざまな実施形態と能力を備えた不均一ロボット間の効果的なコラボレーションと、Habitat-Masという名前の新しいベンチマークとともに設計された新しいマルチエージェントフレームワークを紹介します。
私たちの重要なデザインの1つは$ \ textit {robot resume} $です。人間が設計したロールプレイを採用する代わりに、エージェントがロボットURDFファイルを理解し、ロボット運動学ツールを呼び出して物理能力の説明を生成する自己宣伝アプローチを提案します。
タスクの計画と行動の実行における行動を導く。
Habitat-MASベンチマークは、マルチエージェントフレームワークが、1）操作、2）知覚、3）ナビゲーション、4）包括的な多階建てのオブジェクトの再配置を含む、具体化された推論を必要とするタスクをどのように処理するかを評価するように設計されています。
実験結果は、ロボットの履歴書とマルチエージェントシステムの階層設計が、この複雑な問題コンテキスト内で不均一なマルチロボットシステムの効果的な動作に不可欠であることを示しています。

要約(オリジナル)

Heterogeneous multi-robot systems (HMRS) have emerged as a powerful approach for tackling complex tasks that single robots cannot manage alone. Current large-language-model-based multi-agent systems (LLM-based MAS) have shown success in areas like software development and operating systems, but applying these systems to robot control presents unique challenges. In particular, the capabilities of each agent in a multi-robot system are inherently tied to the physical composition of the robots, rather than predefined roles. To address this issue, we introduce a novel multi-agent framework designed to enable effective collaboration among heterogeneous robots with varying embodiments and capabilities, along with a new benchmark named Habitat-MAS. One of our key designs is $\textit{Robot Resume}$: Instead of adopting human-designed role play, we propose a self-prompted approach, where agents comprehend robot URDF files and call robot kinematics tools to generate descriptions of their physics capabilities to guide their behavior in task planning and action execution. The Habitat-MAS benchmark is designed to assess how a multi-agent framework handles tasks that require embodiment-aware reasoning, which includes 1) manipulation, 2) perception, 3) navigation, and 4) comprehensive multi-floor object rearrangement. The experimental results indicate that the robot’s resume and the hierarchical design of our multi-agent system are essential for the effective operation of the heterogeneous multi-robot system within this intricate problem context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google