LLMArena: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

要約

大規模言語モデル (LLM) の最近の進歩により、人間レベルの知能を持つ自律エージェントを実現できる可能性が明らかになりました。
ただし、LLM エージェントを評価するための既存のベンチマークは、静的データセットを使用してデータ漏洩につながる可能性があるか、単一エージェントのシナリオのみに焦点を当てており、マルチエージェントの相互作用の複雑さを見逃しています。
マルチエージェントの動的な環境における LLM エージェントの多様な機能を評価するベンチマークが不足しています。
この目的を達成するために、マルチエージェントの動的環境における LLM の多様な機能を評価するための、新しくて簡単に拡張可能なフレームワークである LLMArena を紹介します。
LLMArena は 7 つの異なるゲーム環境を網羅しており、Trueskill スコアリングを採用して LLM エージェントの重要な能力 (空間推論、戦略計画、数値推論、リスク評価、コミュニケーション、対戦相手のモデリング、チームのコラボレーションなど) を評価します。
私たちは、さまざまなサイズやタイプの LLM 間で広範な実験と人間による評価を実施し、LLM が完全自律エージェントへの開発、特に対戦相手のモデリングとチームのコラボレーションにおいて、まだ大きな道のりを歩んでいることを示しています。
私たちは、LLMArena が LLM のこれらの機能の強化に向けた将来の研究を導き、最終的には動的なマルチエージェント設定でのより洗練された実用的なアプリケーションにつながることを願っています。
コードとデータが利用可能になります。

要約(オリジナル)

Recent advancements in large language models (LLMs) have revealed their potential for achieving autonomous agents possessing human-level intelligence. However, existing benchmarks for evaluating LLM Agents either use static datasets, potentially leading to data leakage or focus only on single-agent scenarios, overlooking the complexities of multi-agent interactions. There is a lack of a benchmark that evaluates the diverse capabilities of LLM agents in multi-agent, dynamic environments. To this end, we introduce LLMArena, a novel and easily extensible framework for evaluating the diverse capabilities of LLM in multi-agent dynamic environments. LLMArena encompasses seven distinct gaming environments, employing Trueskill scoring to assess crucial abilities in LLM agents, including spatial reasoning, strategic planning, numerical reasoning, risk assessment, communication, opponent modeling, and team collaboration. We conduct an extensive experiment and human evaluation among different sizes and types of LLMs, showing that LLMs still have a significant journey ahead in their development towards becoming fully autonomous agents, especially in opponent modeling and team collaboration. We hope LLMArena could guide future research towards enhancing these capabilities in LLMs, ultimately leading to more sophisticated and practical applications in dynamic, multi-agent settings. The code and data will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google