HMCF: A Human-in-the-loop Multi-Robot Collaboration Framework Based on Large Language Models

要約

人工知能（AI）の急速な進歩により、ロボットは複雑なタスクを自律的に実行できるようになり、その精度も高まっている。しかし、マルチロボットシステム（MRS）は、特に災害対応のような大規模な展開に拡張する場合、汎化、異種性、安全性という課題に直面する。従来のアプローチでは汎用性に欠けることが多く、新しいタスクやシナリオに対応するための大規模なエンジニアリングが必要であり、多様なロボットの管理に苦労している。これらの限界を克服するために、我々は大規模言語モデル（LLM）を活用したHuman-in-the-loop Multi-Robot Collaboration Framework（HMCF）を提案する。LLMは多様なタスクとロボットの能力を推論することで適応性を高め、人間の監視は安全性と信頼性を確保し、必要な場合にのみ介入する。我々のフレームワークは、人間の監視、LLMエージェント、異種ロボットをシームレスに統合し、タスクの割り当てと実行を最適化する。各ロボットには、その能力を理解し、タスクを実行可能な命令に変換し、タスクの検証と人間の監視を通じて幻覚を減らすことができるLLMエージェントが装備されている。シミュレーションの結果、我々のフレームワークは最先端のタスク計画手法を凌駕し、4.76%の向上という高いタスク成功率を達成した。実世界でのテストでは、そのロバストなゼロショット汎化機能と、最小限の人間の介入で多様なタスクと環境を扱う能力が実証された。

要約(オリジナル)

Rapid advancements in artificial intelligence (AI) have enabled robots to performcomplex tasks autonomously with increasing precision. However, multi-robot systems (MRSs) face challenges in generalization, heterogeneity, and safety, especially when scaling to large-scale deployments like disaster response. Traditional approaches often lack generalization, requiring extensive engineering for new tasks and scenarios, and struggle with managing diverse robots. To overcome these limitations, we propose a Human-in-the-loop Multi-Robot Collaboration Framework (HMCF) powered by large language models (LLMs). LLMs enhance adaptability by reasoning over diverse tasks and robot capabilities, while human oversight ensures safety and reliability, intervening only when necessary. Our framework seamlessly integrates human oversight, LLM agents, and heterogeneous robots to optimize task allocation and execution. Each robot is equipped with an LLM agent capable of understanding its capabilities, converting tasks into executable instructions, and reducing hallucinations through task verification and human supervision. Simulation results show that our framework outperforms state-of-the-art task planning methods, achieving higher task success rates with an improvement of 4.76%. Real-world tests demonstrate its robust zero-shot generalization feature and ability to handle diverse tasks and environments with minimal human intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL