Large Language Models Can Be Used to Estimate the Ideologies of Politicians in a Zero-Shot Learning Setting

要約

大規模言語モデル (LLM) に埋め込まれた知識の大量集約は、社会科学における可観測性と測定の問題に対する新しい解決策の可能性を秘めています。
特に困難な測定タスクに対するそのようなモデルの有用性を調べます。それは、議員の潜在的なイデオロギーを測定することです。これにより、政治がどのように政策を形成し、政治的アクターがどのように構成員を代表するかなど、民主主義の中核となる機能をよりよく理解することができます。
第 116 回アメリカ合衆国議会の上院議員を、ChatGPT にペアワイズ比較でよりリベラルな (または保守的な) 上院議員を選択するよう促すことで、リベラルと保守のスペクトルに沿ってスケーリングします。
LLM が反復を繰り返しても安定した回答を生成し、幻覚を起こさず、単一の情報源からの情報を単純に逆流しているわけではないことを示します。
この新しい尺度は、NOMINATE などの既存のリベラル保守尺度と強く相関しますが、極左または極右のイデオロギー上の理由で党に反対票を投じる上院議員を極端な端に正しく配置するなど、いくつかの重要な点でも異なります。
この尺度は、選挙運動の寄付や政治活動家によるこれらの上院議員の認識に基づくイデオロギー的尺度とも強く相関しています。
より自動化されたデータ収集と情報検索の可能性に加えて、私たちの結果は、LLM が公的情報源からの大量のデータの集約に依存するイデオロギーのような潜在的な構造を測定するための新しい道を開く可能性が高いことを示唆しています。

要約(オリジナル)

The mass aggregation of knowledge embedded in large language models (LLMs) holds the promise of new solutions to problems of observability and measurement in the social sciences. We examine the utility of one such model for a particularly difficult measurement task: measuring the latent ideology of lawmakers, which allows us to better understand functions that are core to democracy, such as how politics shape policy and how political actors represent their constituents. We scale the senators of the 116th United States Congress along the liberal-conservative spectrum by prompting ChatGPT to select the more liberal (or conservative) senator in pairwise comparisons. We show that the LLM produced stable answers across repeated iterations, did not hallucinate, and was not simply regurgitating information from a single source. This new scale strongly correlates with pre-existing liberal-conservative scales such as NOMINATE, but also differs in several important ways, such as correctly placing senators who vote against their party for far-left or far-right ideological reasons on the extreme ends. The scale also highly correlates with ideological measures based on campaign giving and political activists’ perceptions of these senators. In addition to the potential for better-automated data collection and information retrieval, our results suggest LLMs are likely to open new avenues for measuring latent constructs like ideology that rely on aggregating large quantities of data from public sources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google