Large Language Models Can Infer Psychological Dispositions of Social Media Users

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたってますます人間に近い能力を示します。
この論文では、ChatGPT のような LLM がソーシャル メディア ユーザーの心理的傾向を正確に推測できるかどうか、またその能力が社会人口統計上のグループによって異なるかどうかを調査します。
具体的には、GPT-3.5 と GPT-4 がゼロショット学習シナリオでユーザーの Facebook ステータス更新からビッグ 5 の性格特性を導き出せるかどうかをテストします。
私たちの結果は、LLM が推論した特性スコアと自己報告した特性スコアの間の平均相関関係が r = 0.29 (範囲 = [.22, 0.33]) であることを示しています。これは、特別にトレーニングされた教師あり機械学習モデルの精度と同等の精度です。
性格を推測します。
私たちの調査結果は、さまざまな年齢層や性別カテゴリーにわたる性格推論の精度の不均一性も強調しています。予測は、いくつかの特性に関して女性と若年層の方がより正確であることがわかり、基礎となるトレーニング データまたはオンラインでの自己の違いに起因する潜在的なバイアスを示唆しています。
-表現。
ユーザーが作成したテキストから心理的傾向を推測する LLM の機能は、研究者と実践者の両方にとって、安価でスケーラブルな心理測定評価へのアクセスを民主化する可能性があります。
一方で、この民主化は、生態学的妥当性の高い大規模研究を促進し、個別化されたサービスの革新を引き起こす可能性があります。
一方で、ユーザーのプライバシーと自己決定に関する倫理的懸念も引き起こし、厳格な倫理的枠組みと規制の必要性を浮き彫りにしています。

要約(オリジナル)

Large Language Models (LLMs) demonstrate increasingly human-like abilities across a wide variety of tasks. In this paper, we investigate whether LLMs like ChatGPT can accurately infer the psychological dispositions of social media users and whether their ability to do so varies across socio-demographic groups. Specifically, we test whether GPT-3.5 and GPT-4 can derive the Big Five personality traits from users’ Facebook status updates in a zero-shot learning scenario. Our results show an average correlation of r = .29 (range = [.22, .33]) between LLM-inferred and self-reported trait scores – a level of accuracy that is similar to that of supervised machine learning models specifically trained to infer personality. Our findings also highlight heterogeneity in the accuracy of personality inferences across different age groups and gender categories: predictions were found to be more accurate for women and younger individuals on several traits, suggesting a potential bias stemming from the underlying training data or differences in online self-expression. The ability of LLMs to infer psychological dispositions from user-generated text has the potential to democratize access to cheap and scalable psychometric assessments for both researchers and practitioners. On the one hand, this democratization might facilitate large-scale research of high ecological validity and spark innovation in personalized services. On the other hand, it also raises ethical concerns regarding user privacy and self-determination, highlighting the need for stringent ethical frameworks and regulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google