Does Role-Playing Chatbots Capture the Character Personalities? Assessing Personality Traits for Role-Playing Chatbots

要約

大規模な事前トレーニング済み言語モデルの出現により、特に明確なペルソナを持つチャットボットの作成の領域において、新しい AI アプリケーションの機能に革命が起こりました。
チャットボットの「刺激と反応」の性質を考慮して、この論文では、ロールプレイング チャットボットの性格評価のための革新的な自由回答形式のインタビュー スタイルのアプローチを明らかにします。これにより、チャットボットの本質的な性格をより深く理解できるようになります。
私たちは、ChatHaruhi ライブラリによって作成された 32 のロールプレイング チャットボットの性格評価を、Big Five と MBTI の両方の次元にわたって実施し、人間の知覚との整合性を測定します。
評価結果は、LLM に基づく最新のロールプレイング チャットボットが、人間が認識する性格と比較して 82.8% の一致率で、対応するキャラクターの性格特性を効果的に描写できることを強調しています。
さらに、チャットボットの性格を形成するための潜在的な戦略も提案します。
したがって、この論文は、計算言語学と心理学を横断するロールプレイング チャットボットの基礎研究として機能します。
私たちのリソースは https://github.com/LC1332/Chat-Haruhi-Susumya から入手できます。

要約(オリジナル)

The emergence of large-scale pretrained language models has revolutionized the capabilities of new AI application, especially in the realm of crafting chatbots with distinct personas. Given the ‘stimulus-response’ nature of chatbots, this paper unveils an innovative open-ended interview-style approach for personality assessment on role-playing chatbots, which offers a richer comprehension of their intrinsic personalities. We conduct personality assessments on 32 role-playing chatbots created by the ChatHaruhi library, across both the Big Five and MBTI dimensions, and measure their alignment with human perception. Evaluation results underscore that modern role-playing chatbots based on LLMs can effectively portray personality traits of corresponding characters, with an alignment rate of 82.8% compared with human-perceived personalities. Besides, we also suggest potential strategies for shaping chatbots’ personalities. Hence, this paper serves as a cornerstone study for role-playing chatbots that intersects computational linguistics and psychology. Our resources are available at https://github.com/LC1332/Chat-Haruhi-Suzumiya

arxiv情報

提供元, 利用サービス

arxiv.jp, Google