PersonaLLM: Investigating the Ability of GPT-3.5 to Express Personality Traits and Gender Differences

要約

タイトル：PersonaLLM：GPT-3.5の性格特性と性差表現能力の調査

要約:

– 大規模言語モデル（LLM）の使用は、さまざまな産業におけるチャットボットの設計において、さまざまな個性に合わせたパーソナライズが重要であるという研究のため、多数のユースケースがあるにもかかわらず、個性化されたLLMの行動が正確かつ一貫して特定の人格特性を反映できるかどうかを評価するための研究はほとんど行われていません。
– LLMに基づくシミュレートされたエージェントの行動を学習することを検討し、GPT-3.5（text-davinci-003）を用いて、Big Five性格タイプと性別役割が割り当てられた場合、LLMが一貫性のある個性化された特性を持ったコンテンツを生成できるかどうか調べるCase Studyを行っている。
– 320のLLMパーソナを作成した（32のBig Five性格タイプごとに5人の女性と5人の男性）それらに、classic 44-item Big Five Inventory（BFI）を完成させ、800ワードの自分の子供時代のストーリーを書いてもらった。結果、LLMパーソナの自己報告のBFIスコアは、割り当てられた人格タイプと一致し、すべての5つの特性において大きな効果サイズが認められた。さらに、割り当てられた性格タイプと彼らの文章の一部の言語学的問い合わせや単語数(LIWC)心理言語分析の特徴との間に、有意な相関関係が見つかった。たとえば、外向性はプロ社会的で活発な言葉と関連付けられ、神経症は負の感情やメンタルヘルスに関連する言葉と関連付けられる。また、LLMが生成した女性と男性のパーソナ間の文章における技術的および文化的な言葉の使用の違いが主要な差異であった。
– この研究は、個性化されたLLMとその人間-AI会話への応用に関するさらなる研究の初歩的な一歩を提供します。

要約(オリジナル)

Despite the many use cases for large language models (LLMs) in the design of chatbots in various industries and the research showing the importance of personalizing chatbots to cater to different personality traits, little work has been done to evaluate whether the behaviors of personalized LLMs can reflect certain personality traits accurately and consistently. We consider studying the behavior of LLM-based simulated agents which refer to as LLM personas and present a case study with GPT-3.5 (text-davinci-003) to investigate whether LLMs can generate content with consistent, personalized traits when assigned Big Five personality types and gender roles. We created 320 LLM personas (5 females and 5 males for each of the 32 Big Five personality types) and prompted them to complete the classic 44-item Big Five Inventory (BFI) and then write an 800-word story about their childhood. Results showed that LLM personas’ self-reported BFI scores are consistent with their assigned personality types, with large effect sizes found on all five traits. Moreover, significant correlations were found between assigned personality types and some Linguistic Inquiry and Word Count (LIWC) psycholinguistic features of their writings. For instance, extroversion is associated with pro-social and active words, and neuroticism is associated with words related to negative emotions and mental health. Besides, we only found significant differences in using technological and cultural words in writing between LLM-generated female and male personas. This work provides a first step for further research on personalized LLMs and their applications in Human-AI conversation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI