Are Social Sentiments Inherent in LLMs? An Empirical Study on Extraction of Inter-demographic Sentiments

要約

大規模言語モデル (LLM) は、大量のテキストからモデルをトレーニングすることで、社会常識や偏見などの人間の無意識の知識や感情を獲得すると考えられています。
ただし、特定の社会グループの感情がさまざまな LLM にどの程度反映されるかは不明です。
この研究では、国籍、宗教、人種/民族の観点から定義される社会グループに焦点を当て、社会グループ間の感情がどの程度LLMに取り込まれ、LLMから抽出できるかを検証します。
具体的には、あるグループから別のグループへの感情に関する質問を LLM に入力し、その回答に感情分析を適用し、その結果を社会調査と比較します。
代表的な 5 つの LLM を使用した検証結果では、データ ポイントの数が比較的多い国籍および宗教については、比較的小さい p 値と高い相関が示されました。
この結果は、グループ間の感情を含む LLM の回答が実際の社会調査の結果とよく一致していることを示しています。

要約(オリジナル)

Large language models (LLMs) are supposed to acquire unconscious human knowledge and feelings, such as social common sense and biases, by training models from large amounts of text. However, it is not clear how much the sentiments of specific social groups can be captured in various LLMs. In this study, we focus on social groups defined in terms of nationality, religion, and race/ethnicity, and validate the extent to which sentiments between social groups can be captured in and extracted from LLMs. Specifically, we input questions regarding sentiments from one group to another into LLMs, apply sentiment analysis to the responses, and compare the results with social surveys. The validation results using five representative LLMs showed higher correlations with relatively small p-values for nationalities and religions, whose number of data points were relatively large. This result indicates that the LLM responses including the inter-group sentiments align well with actual social survey results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google