Large Language Models Can Be Used to Estimate the Latent Positions of Politicians

要約

特定の次元に沿って政治家の潜在的地位を推定する既存のアプローチは、関連データが限られている場合には失敗することがよくあります。
私たちは、生成大言語モデル (LLM) に組み込まれた知識を活用して、この課題に対処し、特定の政治または政策の側面に沿った議員の立場を測定します。
指示/対話調整された LLM に議員をペアごとに比較させ、ブラッドリー-テリー モデルを使用して結果のグラフをスケールします。
私たちは、リベラルと保守のイデオロギー、銃規制、中絶に関する米国上院議員の立場の新しい尺度を推定します。
LLM主導のスケーリングを検証するために使用される私たちのリベラル保守的なスケールは、既存の尺度と強い相関があり、解釈のギャップを補っており、LLMが既存の尺度を記憶するのではなく、インターネットやデジタル化されたメディアから関連するデータを合成していることを示唆しています。
私たちの銃規制と中絶に関する措置は、この種のものとしては初めてのものであり、表面上はリベラルと保守の尺度とは異なっており、イデオロギーだけよりも利益団体の評価や議員の投票をより正確に予測するものである。
私たちの調査結果は、LLM が複雑な社会科学の測定問題を解決する可能性を秘めていることを示唆しています。

要約(オリジナル)

Existing approaches to estimating politicians’ latent positions along specific dimensions often fail when relevant data is limited. We leverage the embedded knowledge in generative large language models (LLMs) to address this challenge and measure lawmakers’ positions along specific political or policy dimensions. We prompt an instruction/dialogue-tuned LLM to pairwise compare lawmakers and then scale the resulting graph using the Bradley-Terry model. We estimate novel measures of U.S. senators’ positions on liberal-conservative ideology, gun control, and abortion. Our liberal-conservative scale, used to validate LLM-driven scaling, strongly correlates with existing measures and offsets interpretive gaps, suggesting LLMs synthesize relevant data from internet and digitized media rather than memorizing existing measures. Our gun control and abortion measures — the first of their kind — differ from the liberal-conservative scale in face-valid ways and predict interest group ratings and legislator votes better than ideology alone. Our findings suggest LLMs hold promise for solving complex social science measurement problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google