AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents

要約

大規模言語モデル (LLM) は、幅広いシナリオにわたって人間の行動を再現する能力を実証しています。
しかし、主に堅牢で定量的な評価方法が存在しないため、複雑な複数のキャラクターの社会的相互作用を処理する能力はまだ十分に研究されていません。
このギャップにより、雑談などの単純なやり取りを超えた、より微妙なやり取りに熟達したエージェントの開発が遅れています。
この課題に対処するために、新しい対話フレームワークと評価方法を包含するマルチエージェント対話評価フレームワーク (AntEval) を導入します。
インタラクション フレームワークは、社会的インタラクション内での情報交換と意図表現を強化する複雑なインタラクション環境を促進することを目的としています。
さらに、エージェントのインタラクション能力を定量的かつ客観的に評価するために設計された、情報交換精度 (IEP) とインタラクション表現力ギャップ (IEG) という 2 つの指標を含む評価方法を紹介します。
私たちの発見は、これらの評価方法の有用性を強調し、人間のような複雑さとより自然な方法で相互作用するエージェントを構築するLLMの能力を向上させる大きな可能性を示しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated their ability to replicate human behaviors across a wide range of scenarios. However, their capability in handling complex, multi-character social interactions has yet to be fully explored, primarily due to the absence of robust, quantitative evaluation methods. This gap has slowed the development of agents proficient in more nuanced interactions beyond simple exchanges, for example, small talk. To address this challenge, we introduce the Multi-Agent Interaction Evaluation Framework (AntEval), encompassing a novel interaction framework and evaluation methods. The interaction framework aims to foster an complex interaction environment that bolsters information exchange and intention expression within social interactions. Furthermore, we introduce evaluation methods, including two metrics: Information Exchanging Precision (IEP) and Interaction Expressiveness Gap (IEG), designed for the quantitative and objective assessment of agents’ interaction competencies. Our findings highlight the utility of these evaluative methods and show significant potential for improving LLMs’ ability to construct agents that interact in a more natural manner with human-like intricacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google