A Large-Scale Simulation on Large Language Models for Decision-Making in Political Science

要約

LLMはテキスト生成や推論において目覚ましい能力を発揮しているが、人間の意思決定–特に政治的な文脈における–をシミュレートする能力については未解決のままである。しかし、有権者の行動をモデル化することは、限られた有権者レベルのデータ、進化する政治的景観、人間の推論の複雑さなどのために、ユニークな課題を提起している。本研究では、有権者の意思決定を大規模にシミュレートするために、人口統計学的、時間的、イデオロギー的要因を統合した、理論駆動型の多段階推論フレームワークを開発する。実世界の有権者データに較正された合成ペルソナを用いて、最近の米国大統領選挙の大規模シミュレーションを実施した。我々の手法は、モデルのバイアスを緩和しつつ、シミュレーションの精度を大幅に向上させた。異なるLLM間でパフォーマンスを比較することで、その頑健性を検証する。さらに、LLMに基づく政治シミュレーションから生じる課題と制約を調査する。我々の研究は、政治的意思決定行動をモデル化するためのスケーラブルなフレームワークと、政治学研究においてLLMを使用することの可能性と限界についての洞察を提供する。

要約(オリジナル)

While LLMs have demonstrated remarkable capabilities in text generation and reasoning, their ability to simulate human decision-making — particularly in political contexts — remains an open question. However, modeling voter behavior presents unique challenges due to limited voter-level data, evolving political landscapes, and the complexity of human reasoning. In this study, we develop a theory-driven, multi-step reasoning framework that integrates demographic, temporal and ideological factors to simulate voter decision-making at scale. Using synthetic personas calibrated to real-world voter data, we conduct large-scale simulations of recent U.S. presidential elections. Our method significantly improves simulation accuracy while mitigating model biases. We examine its robustness by comparing performance across different LLMs. We further investigate the challenges and constraints that arise from LLM-based political simulations. Our work provides both a scalable framework for modeling political decision-making behavior and insights into the promise and limitations of using LLMs in political science research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL