Can LLM-Augmented autonomous agents cooperate?, An evaluation of their cooperative capabilities through Melting Pot

要約

AI の分野が進化し続けるにつれて、この進歩の重要な側面は、大規模言語モデルの開発と、マルチエージェント人工知能システムを強化するその可能性です。
このペーパーでは、よく知られた Meltin Pot 環境と GPT4 や GPT3.5 などの参照モデルを使用した、大規模言語モデル拡張自律エージェント (LAA) の協調機能について調査します。
予備的な結果は、これらのエージェントは協力する傾向を示しているものの、依然として特定の環境で効果的なコラボレーションに苦労していることを示唆しており、より堅牢なアーキテクチャの必要性が強調されています。
この研究の貢献には、メルティング ポット ゲーム シナリオを LLM に適応させるための抽象化レイヤー、LLM を介したエージェント開発のための再利用可能なアーキテクチャの実装 (短期および長期の記憶とさまざまな認知モジュールが含まれる)、および
Melting Pot の「Commons Harvest」ゲームに関連付けられた一連の指標。
このペーパーは、現在のアーキテクチャ フレームワークの限界と、LAA 間のより良い協力を促進する新しいモジュール セットの可能性について説明して終わります。

要約(オリジナル)

As the field of AI continues to evolve, a significant dimension of this progression is the development of Large Language Models and their potential to enhance multi-agent artificial intelligence systems. This paper explores the cooperative capabilities of Large Language Model-augmented Autonomous Agents (LAAs) using the well-known Meltin Pot environments along with reference models such as GPT4 and GPT3.5. Preliminary results suggest that while these agents demonstrate a propensity for cooperation, they still struggle with effective collaboration in given environments, emphasizing the need for more robust architectures. The study’s contributions include an abstraction layer to adapt Melting Pot game scenarios for LLMs, the implementation of a reusable architecture for LLM-mediated agent development – which includes short and long-term memories and different cognitive modules, and the evaluation of cooperation capabilities using a set of metrics tied to the Melting Pot’s ‘Commons Harvest’ game. The paper closes, by discussing the limitations of the current architectural framework and the potential of a new set of modules that fosters better cooperation among LAAs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google