Building Cooperative Embodied Agents Modularly with Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなドメインにわたる単一エージェントで具体化されたタスクにおいて優れた計画能力を実証しています。
しかし、マルチエージェントの協力における計画とコミュニケーションの能力は、たとえこれらが知的身体化エージェントにとって重要なスキルであるにもかかわらず、依然として不明瞭である。
この論文では、マルチエージェント連携に LLM を利用する新しいフレームワークを提示し、それをさまざまな具体化された環境でテストします。
私たちのフレームワークにより、実体エージェントは、長期的なタスクを効率的に達成するために、他の実体エージェントまたは人間と計画、通信、および協力することができます。
GPT-4 などの最近の LLM は、強力な計画ベースの手法を超え、微調整や数回のプロンプトを必要とせずに、フレームワークを使用して創発的な効果的なコミュニケーションを示すことができることを実証します。
また、自然言語で通信する LLM ベースのエージェントは、より信頼を獲得し、人間とより効果的に協力できることも発見しました。
私たちの研究は、身体化された AI に対する LLM の可能性を強調し、マルチエージェント協力における将来の研究の基礎を築きます。
ビデオはプロジェクト Web サイト https://vis-www.cs.umass.edu/Co-LLM-Agents/ でご覧いただけます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive planning abilities in single-agent embodied tasks across various domains. However, their capacity for planning and communication in multi-agent cooperation remains unclear, even though these are crucial skills for intelligent embodied agents. In this paper, we present a novel framework that utilizes LLMs for multi-agent cooperation and tests it in various embodied environments. Our framework enables embodied agents to plan, communicate, and cooperate with other embodied agents or humans to accomplish long-horizon tasks efficiently. We demonstrate that recent LLMs, such as GPT-4, can surpass strong planning-based methods and exhibit emergent effective communication using our framework without requiring fine-tuning or few-shot prompting. We also discover that LLM-based agents that communicate in natural language can earn more trust and cooperate more effectively with humans. Our research underscores the potential of LLMs for embodied AI and lays the foundation for future research in multi-agent cooperation. Videos can be found on the project website https://vis-www.cs.umass.edu/Co-LLM-Agents/.

arxiv情報

著者 Hongxin Zhang,Weihua Du,Jiaming Shan,Qinhong Zhou,Yilun Du,Joshua B. Tenenbaum,Tianmin Shu,Chuang Gan
発行日 2023-07-05 17:59:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CV パーマリンク