From General to Specific: Utilizing General Hallucation to Automatically Measure the Role Relationship Fidelity for Specific Role-Play Agents

要約

大規模言語モデル (LLM) の高度なロールプレイング機能により、ロールプレイング エージェント (RPA) の開発への道が開かれました。
ただし、手動でスコア付けされたキャラクターの関係を LLM のコンテキストに組み込んで一貫性を分類する HPD や、多肢選択タスクのコンテキストで LLM によって生成された特定のプロファイルを使用してキャラクターの好みを評価する SocialBench などの既存のベンチマークは、次のような制限に直面しています。
一般化可能性の低さ、暗黙的かつ不正確な判断、および過剰なコンテキストの長さ。
上記の問題に対処するために、自動化され、スケーラブルで、一般化可能なパラダイムを提案します。
具体的には、一般知識グラフから関係を抽出することでベンチマークを構築し、RPA の固有の幻覚特性を利用して役割を超えて相互作用するように促し、スタンス検出に ChatGPT を採用し、3 つの関連指標とともに関係幻覚を定義します。
広範な実験により、指標の有効性と安定性が検証されています。
私たちの調査結果では、これらの指標に影響を与える要因をさらに調査し、関係の幻覚と事実の間のトレードオフについて議論します。

要約(オリジナル)

The advanced role-playing capabilities of Large Language Models (LLMs) have paved the way for developing Role-Playing Agents (RPAs). However, existing benchmarks, such as HPD, which incorporates manually scored character relationships into the context for LLMs to sort coherence, and SocialBench, which uses specific profiles generated by LLMs in the context of multiple-choice tasks to assess character preferences, face limitations like poor generalizability, implicit and inaccurate judgments, and excessive context length. To address the above issues, we propose an automatic, scalable, and generalizable paradigm. Specifically, we construct a benchmark by extracting relations from a general knowledge graph and leverage RPA’s inherent hallucination properties to prompt it to interact across roles, employing ChatGPT for stance detection and defining relationship hallucination along with three related metrics. Extensive experiments validate the effectiveness and stability of our metrics. Our findings further explore factors influencing these metrics and discuss the trade-off between relationship hallucination and factuality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google