InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews

要約

大規模な言語モデルを利用したロールプレイング エージェント (RPA) は、盛んなアプリケーション分野として台頭しています。
ただし、重要な課題は、RPA がターゲット キャラクターのペルソナを正確に再現しているかどうか、つまりキャラクターの忠実度を評価することにあります。
既存の手法は主に文字の知識と言語パターンに焦点を当てています。
その代わりに、この論文では、RPA の性格忠実度を心理的尺度で評価する新しい視点を紹介します。
RPA に関する以前の自己報告評価の欠点を克服するために、私たちは InCharacter、つまり性格テストのための Character エージェントへのインタビューを提案します。
実験にはさまざまなタイプの RPA と LLM が含まれており、広く使用されている 14 の心理スケール上の 32 の異なるキャラクターをカバーしています。
この結果は、RPA のパーソナリティを測定する際の InCharacter の有効性を検証します。
次に、InCharacter を使用して、最先端の RPA が人間が認識するキャラクターの性格と非常に一致した性格を示し、最大 80.7% の精度を達成することを示しました。

要約(オリジナル)

Role-playing agents (RPAs), powered by large language models, have emerged as a flourishing field of applications. However, a key challenge lies in assessing whether RPAs accurately reproduce the personas of target characters, namely their character fidelity. Existing methods mainly focus on the knowledge and linguistic patterns of characters. This paper, instead, introduces a novel perspective to evaluate the personality fidelity of RPAs with psychological scales. Overcoming drawbacks of previous self-report assessments on RPAs, we propose InCharacter, namely Interviewing Character agents for personality tests. Experiments include various types of RPAs and LLMs, covering 32 distinct characters on 14 widely used psychological scales. The results validate the effectiveness of InCharacter in measuring RPA personalities. Then, with InCharacter, we show that state-of-the-art RPAs exhibit personalities highly aligned with the human-perceived personalities of the characters, achieving an accuracy up to 80.7%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google