Large Language Models Can Be Used to Scale the Ideologies of Politicians in a Zero-Shot Learning Setting

要約

タイトル：大規模言語モデルを使用することで、政治家のイデオロギーを零ショット学習の環境でスケール化することができる

要約：
– 大規模言語モデル（LLMs）に組み込まれた知識の集約は、社会科学における可観察性と測定に対する新しい解決策の可能性を秘めている。
– 私たちは、よりよい民主的代表といった核心的な政治的機能を理解するために重要な潜在的イデオロギーの測定において、この可能性を探求しています。
– 私たちは、ChatGPTに提示されたプロンプトを使用して116番目の米国上院議員の自由主義と保守主義のペアワイズ比較をスケールさせます。
– 私たちの測定は、DW-NOMINATEなどの広く使用されている自由主義と保守主義の尺度と強く相関しています。
– 私たちの測定は、党派を越えて極端な理由で党に反対する上院議員を中心に置かないといった解釈上の利点も持っています。
– 我々の尺度は、他の尺度と比べて政治活動家たちの上院議員に対する認識とより強く関連しており、LLMsは既存の尺度を暗記するのではなく、インターネット/書籍のコーパスから政治的に関連する膨大なデータを統合することによって構築される。
– LLMsは、巨大なテキストコーパスからモデル化された情報を利用して構築される潜在的概念の測定の新しいアプローチを開く可能性がある。

要約(オリジナル)

The aggregation of knowledge embedded in large language models (LLMs) holds the promise of new solutions to problems of observability and measurement in the social sciences. We examine this potential in a challenging setting: measuring latent ideology — crucial for better understanding core political functions such as democratic representation. We scale pairwise liberal-conservative comparisons between members of the 116th U.S. Senate using prompts made to ChatGPT. Our measure strongly correlates with widely used liberal-conservative scales such as DW-NOMINATE. Our scale also has interpretative advantages, such as not placing senators who vote against their party for ideologically extreme reasons towards the middle. Our measure is more strongly associated with political activists’ perceptions of senators than other measures, consistent with LLMs synthesizing vast amounts of politically relevant data from internet/book corpora rather than memorizing existing measures. LLMs will likely open new avenues for measuring latent constructs utilizing modeled information from massive text corpora.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI