Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

要約

大規模な言語モデル（LLMS）は、政治的言説を理解したり、生み出したりするための顕著な能力を表示しますが、進歩的な左寄りのバイアスを一貫して表示することがわかっています。
同時に、いわゆるペルソナまたはアイデンティティプロンプトは、基本モデルが整合していない社会経済グループと一致するLLMの動作を生成することが示されています。
この作業では、限られた情報を使用してゼロショットペルソナが個々の投票決定を正確に予測できるかどうかを分析し、集約により、多様な一連のポリシーでヨーロッパグループの位置を正確に予測します。
予測が反事実的な議論、異なるペルソナプロンプト、および生成方法に対して安定しているかどうかを評価します。
最後に、約0.793の加重F1スコアで、欧州議会のメンバーの投票行動を合理的にシミュレートできることがわかりました。
2024年の欧州議会と当社のコードの政治家のペルソナデータセットは、https：//github.com/dess-mannheim/european_parliament_simulationで入手できます。

要約(オリジナル)

Large Language Models (LLMs) display remarkable capabilities to understand or even produce political discourse, but have been found to consistently display a progressive left-leaning bias. At the same time, so-called persona or identity prompts have been shown to produce LLM behavior that aligns with socioeconomic groups that the base model is not aligned with. In this work, we analyze whether zero-shot persona prompting with limited information can accurately predict individual voting decisions and, by aggregation, accurately predict positions of European groups on a diverse set of policies. We evaluate if predictions are stable towards counterfactual arguments, different persona prompts and generation methods. Finally, we find that we can simulate voting behavior of Members of the European Parliament reasonably well with a weighted F1 score of approximately 0.793. Our persona dataset of politicians in the 2024 European Parliament and our code are available at https://github.com/dess-mannheim/european_parliament_simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google