Are Large Language Models Chameleons?

要約

大規模言語モデル (LLM) には独自の世界観や性格傾向がありますか?
LLM が主観的な質問に答えるよう求められるシミュレーションは 100 万回以上実施されました。
さまざまな LLM からの回答を欧州社会調査 (ESS) の実際のデータと比較すると、バイアスと変動に対するプロンプトの効果が根本的なものであることが示唆され、主要な文化、年齢、性別のバイアスが浮き彫りになっています。
LLM と調査データの間の差異を測定するための方法 (加重平均の計算や、Jaccard 類似性にヒントを得て提案された新しい測定など) について説明します。
LLM の模倣能力はせいぜい近似値であるため、LLM を使用して個人の意思決定や集団行動をモデル化する前に、プロンプトの堅牢性と変動性を分析することが重要であると結論付けています。

要約(オリジナル)

Do large language models (LLMs) have their own worldviews and personality tendencies? Simulations in which an LLM was asked to answer subjective questions were conducted more than 1 million times. Comparison of the responses from different LLMs with real data from the European Social Survey (ESS) suggests that the effect of prompts on bias and variability is fundamental, highlighting major cultural, age, and gender biases. Methods for measuring the difference between LLMs and survey data are discussed, such as calculating weighted means and a new proposed measure inspired by Jaccard similarity. We conclude that it is important to analyze the robustness and variability of prompts before using LLMs to model individual decisions or collective behavior, as their imitation abilities are approximate at best.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google