$\textbf{EMOS}$: $\textbf{E}$mbodiment-aware Heterogeneous $\textbf{M}$ulti-robot $\textbf{O}$perating $\textbf{S}$ystem with LLM Agents

要約

異種マルチロボット システム (HMRS) は、単一のロボットだけでは管理できない複雑なタスクに取り組むための強力なアプローチとして登場しました。
現在の大規模言語モデルベースのマルチエージェント システム (LLM ベースの MAS) は、ソフトウェア開発やオペレーティング システムなどの分野で成功を収めていますが、これらのシステムをロボット制御に適用すると、特有の課題が生じます。
特に、マルチロボット システムにおける各エージェントの機能は、事前に定義された役割ではなく、本質的にロボットの物理的構成に関連付けられています。
この問題に対処するために、我々は、Habitat-MAS という新しいベンチマークとともに、さまざまな実施形態と機能を持つ異種ロボット間の効果的な連携を可能にするように設計された新しいマルチエージェント フレームワークを導入します。
私たちの主要な設計の 1 つは $\textit{ロボット履歴書}$ です。人間が設計したロールプレイを採用する代わりに、エージェントがロボットの URDF ファイルを理解し、ロボットの運動学ツールを呼び出して物理的能力の説明を生成する、自発的なアプローチを提案します。
タスクの計画とアクションの実行における行動をガイドします。
Habitat-MAS ベンチマークは、マルチエージェント フレームワークが、1) 操作、2) 認識、3) ナビゲーション、4) 包括的なマルチフロア オブジェクトの再配置を含む、実施形態を意識した推論を必要とするタスクをどのように処理するかを評価するように設計されています。
実験結果は、ロボットの再開とマルチエージェント システムの階層設計が、この複雑な問題の状況内で異種マルチロボット システムを効果的に動作させるために不可欠であることを示しています。

要約(オリジナル)

Heterogeneous multi-robot systems (HMRS) have emerged as a powerful approach for tackling complex tasks that single robots cannot manage alone. Current large-language-model-based multi-agent systems (LLM-based MAS) have shown success in areas like software development and operating systems, but applying these systems to robot control presents unique challenges. In particular, the capabilities of each agent in a multi-robot system are inherently tied to the physical composition of the robots, rather than predefined roles. To address this issue, we introduce a novel multi-agent framework designed to enable effective collaboration among heterogeneous robots with varying embodiments and capabilities, along with a new benchmark named Habitat-MAS. One of our key designs is $\textit{Robot Resume}$: Instead of adopting human-designed role play, we propose a self-prompted approach, where agents comprehend robot URDF files and call robot kinematics tools to generate descriptions of their physics capabilities to guide their behavior in task planning and action execution. The Habitat-MAS benchmark is designed to assess how a multi-agent framework handles tasks that require embodiment-aware reasoning, which includes 1) manipulation, 2) perception, 3) navigation, and 4) comprehensive multi-floor object rearrangement. The experimental results indicate that the robot’s resume and the hierarchical design of our multi-agent system are essential for the effective operation of the heterogeneous multi-robot system within this intricate problem context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google