Scaling Political Texts with Large Language Models: Asking a Chatbot Might Be All You Need

要約

GPT-4、MiXtral、Llama 3 などの命令調整されたラージ言語モデル (LLM) を使用して、政治文書を政策およびイデオロギー空間内に位置づけます。
私たちは LLM に直接、テキスト文書またはその作成者が重点ポリシーの次元においてどのような位置にあるかを尋ねます。
私たちは、英国の政党マニフェストを経済、社会、移民政策の側面に当てはめることによって、そのアプローチを説明し検証します。
欧州議会での補助金反対派と賛成派に関する10か国語での討論演説。
第 117 回米国議会の上院議員。左右のイデオロギーのスペクトルに関するツイートに基づく。
GPT-4 のトレーニング終了日後に米国下院議員と上院議員が公開したツイート。
最良の LLM で得られた位置推定と、専門家、クラウドワーカー、または点呼投票によるコーディングに基づくベンチマークとの相関関係は、0.90 を超えています。
このトレーニング不要のアプローチは、大量のデータでトレーニングされた教師あり分類器よりも優れたパフォーマンスを発揮します。
命令調整された LLM を使用して政策やイデオロギーの領域でテキストをスケールすることは、テキストが短く、異なる言語で書かれている場合でも、高速でコスト効率が高く、信頼性が高く、再現可能です (オープン LLM の場合)。
最後に、経験的検証の必要性についての注意事項を述べます。

要約(オリジナル)

We use instruction-tuned Large Language Models (LLMs) such as GPT-4, MiXtral, and Llama 3 to position political texts within policy and ideological spaces. We directly ask the LLMs where a text document or its author stand on the focal policy dimension. We illustrate and validate the approach by scaling British party manifestos on the economic, social, and immigration policy dimensions; speeches from a European Parliament debate in 10 languages on the anti- to pro-subsidy dimension; Senators of the 117th US Congress based on their tweets on the left-right ideological spectrum; and tweets published by US Representatives and Senators after the training cutoff date of GPT-4. The correlation between the position estimates obtained with the best LLMs and benchmarks based on coding by experts, crowdworkers or roll call votes exceeds .90. This training-free approach also outperforms supervised classifiers trained on large amounts of data. Using instruction-tuned LLMs to scale texts in policy and ideological spaces is fast, cost-efficient, reliable, and reproducible (in the case of open LLMs) even if the texts are short and written in different languages. We conclude with cautionary notes about the need for empirical validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google