Towards a Design Guideline for RPA Evaluation: A Survey of Large Language Model-Based Role-Playing Agents

要約

ロールプレイングエージェント（RPA）は、さまざまなタスクで人間のような行動をシミュレートするますます人気のあるタイプのLLMエージェントです。
ただし、RPAの評価は、多様なタスク要件とエージェント設計のために困難です。
このペーパーでは、2021年1月から2024年12月の間に公開された1,676の論文を体系的にレビューすることにより、LLMベースのRPAのエビデンスに基づいた、実用的で一般化可能な評価設計ガイドラインを提案します。分析では、6つのエージェント属性、7つのタスク属性、7つの評価メトリックが特定されています。
既存の文献から。
これらの調査結果に基づいて、RPA評価設計ガイドラインを提示して、研究者がより体系的で一貫した評価方法を開発するのを支援します。

要約(オリジナル)

Role-Playing Agent (RPA) is an increasingly popular type of LLM Agent that simulates human-like behaviors in a variety of tasks. However, evaluating RPAs is challenging due to diverse task requirements and agent designs. This paper proposes an evidence-based, actionable, and generalizable evaluation design guideline for LLM-based RPA by systematically reviewing 1,676 papers published between Jan. 2021 and Dec. 2024. Our analysis identifies six agent attributes, seven task attributes, and seven evaluation metrics from existing literature. Based on these findings, we present an RPA evaluation design guideline to help researchers develop more systematic and consistent evaluation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google