Investigating Large Language Models in Inferring Personality Traits from User Conversations

要約

大規模言語モデル (LLM) は、心理的評価を含むさまざまな領域にわたって、人間に似た驚くべき能力を実証しています。
この研究では、LLM、具体的には GPT-4o および GPT-4o mini がビッグ 5 の性格特性を推測し、ゼロショット プロンプト条件下でユーザーの会話からビッグ 5 インベントリ-10 (BFI-10) アイテム スコアを生成できるかどうかを評価します。
私たちの調査結果では、中間ステップ (特性を計算する前に BFI-10 項目スコアの入力を求めるプロンプト) を組み込むことで、精度が向上し、特性を直接推論するよりもゴールド スタンダードとより厳密に一致することが明らかになりました。
この構造化されたアプローチは、予測精度を向上させるために心理的フレームワークを活用することの重要性を強調しています。
さらに、うつ病症状の有無に基づいたグループ比較により、モデルのパフォーマンスに差があることが明らかになりました。
参加者は、少なくとも 1 つの抑うつ症状を経験しているグループと、症状のないグループの 2 つのグループに分類されました。
GPT-4o miniは、症状が存在するグループ内で神経症や誠実さなどのうつ病に関連した特性の変化に対する感受性が高まることを示しましたが、GPT-4oはグループ全体で微妙な解釈に強みを示しました。
これらの発見は、現実世界の心理データを効果的に分析する LLM の可能性を強調し、人工知能と心理学の交差点における学際的な研究に貴重な基盤を提供します。

要約(オリジナル)

Large Language Models (LLMs) are demonstrating remarkable human like capabilities across diverse domains, including psychological assessment. This study evaluates whether LLMs, specifically GPT-4o and GPT-4o mini, can infer Big Five personality traits and generate Big Five Inventory-10 (BFI-10) item scores from user conversations under zero-shot prompting conditions. Our findings reveal that incorporating an intermediate step–prompting for BFI-10 item scores before calculating traits–enhances accuracy and aligns more closely with the gold standard than direct trait inference. This structured approach underscores the importance of leveraging psychological frameworks in improving predictive precision. Additionally, a group comparison based on depressive symptom presence revealed differential model performance. Participants were categorized into two groups: those experiencing at least one depressive symptom and those without symptoms. GPT-4o mini demonstrated heightened sensitivity to depression-related shifts in traits such as Neuroticism and Conscientiousness within the symptom-present group, whereas GPT-4o exhibited strengths in nuanced interpretation across groups. These findings underscore the potential of LLMs to analyze real-world psychological data effectively, offering a valuable foundation for interdisciplinary research at the intersection of artificial intelligence and psychology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google