Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study

要約

最近の研究では、大規模言語モデル (LLM) が世論を調査するために使用されることが増えています。
この研究は、LLM のアルゴリズムの忠実性、つまり社会文化的背景や人間の参加者の微妙な意見を再現する能力を調査します。
ドイツ縦断選挙研究 (GLES) の自由回答形式の調査データを使用して、ペルソナ プロンプトに人口統計上の特徴を組み込むことで、さまざまな LLM にドイツの部分母集団を反映した総合的な世論を生成するよう促します。
私たちの結果は、特にグループ内の意見の多様性が低い場合に、ラマが他の LLM よりも部分集団を代表する際に優れたパフォーマンスを発揮することを示しています。
私たちの調査結果はさらに、LLMは他の政党に比べて緑の党や左派のような左派政党の支持者にとってより良いパフォーマンスを示し、右派政党のAfDとは最も一致しないことを明らかにした。
さらに、プロンプトに特定の変数を含めるか除外すると、モデルの予測に大きな影響を与える可能性があります。
これらの調査結果は、政治的偏見を最小限に抑え、代表性の堅牢性を高めながら、多様な世論をより効果的にモデル化するために LLM を調整することの重要性を強調しています。

要約(オリジナル)

In recent research, large language models (LLMs) have been increasingly used to investigate public opinions. This study investigates the algorithmic fidelity of LLMs, i.e., the ability to replicate the socio-cultural context and nuanced opinions of human participants. Using open-ended survey data from the German Longitudinal Election Studies (GLES), we prompt different LLMs to generate synthetic public opinions reflective of German subpopulations by incorporating demographic features into the persona prompts. Our results show that Llama performs better than other LLMs at representing subpopulations, particularly when there is lower opinion diversity within those groups. Our findings further reveal that the LLM performs better for supporters of left-leaning parties like The Greens and The Left compared to other parties, and matches the least with the right-party AfD. Additionally, the inclusion or exclusion of specific variables in the prompts can significantly impact the models’ predictions. These findings underscore the importance of aligning LLMs to more effectively model diverse public opinions while minimizing political biases and enhancing robustness in representativeness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google