A Large-Scale Simulation on Large Language Models for Decision-Making in Political Science

要約

LLMはテキスト生成と推論において顕著な能力を実証していますが、人間の意思決定をシミュレートする能力 – 特に政治的文脈では、未解決の問題のままです。
ただし、有権者の行動のモデリングは、有権者レベルのデータが限られていること、進化する政治的景観、および人間の推論の複雑さにより、独自の課題を提示します。
この研究では、人口統計学的、時間的、イデオロギー的要因を統合して投票者の意思決定を大規模にシミュレートする理論主導のマルチステップ推論フレームワークを開発します。
現実世界の有権者データまで調整された合成ペルソナを使用して、最近の米国大統領選挙の大規模なシミュレーションを実施しています。
この方法は、モデルバイアスを軽減しながら、シミュレーションの精度を大幅に向上させます。
異なるLLMのパフォーマンスを比較することにより、その堅牢性を調べます。
さらに、LLMベースの政治シミュレーションから生じる課題と制約を調査します。
私たちの仕事は、政治的意思決定の行動をモデル化するためのスケーラブルなフレームワークと、政治学研究でLLMを使用することの約束と制限に関する洞察の両方を提供します。

要約(オリジナル)

While LLMs have demonstrated remarkable capabilities in text generation and reasoning, their ability to simulate human decision-making — particularly in political contexts — remains an open question. However, modeling voter behavior presents unique challenges due to limited voter-level data, evolving political landscapes, and the complexity of human reasoning. In this study, we develop a theory-driven, multi-step reasoning framework that integrates demographic, temporal and ideological factors to simulate voter decision-making at scale. Using synthetic personas calibrated to real-world voter data, we conduct large-scale simulations of recent U.S. presidential elections. Our method significantly improves simulation accuracy while mitigating model biases. We examine its robustness by comparing performance across different LLMs. We further investigate the challenges and constraints that arise from LLM-based political simulations. Our work provides both a scalable framework for modeling political decision-making behavior and insights into the promise and limitations of using LLMs in political science research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google