Positioning Political Texts with Large Language Models by Asking and Averaging

要約

GPT-4、Llama 3、MiXtral、Aya などの命令調整されたラージ言語モデル (LLM) を使用して、政治テキストを政策およびイデオロギー空間内に位置づけます。
私たちは、LLM にツイートや政治的テキストの文が焦点次元に位置するかを尋ね、LLM の回答の平均を取得して、米国上院議員などの政治的主体、または英国の政党マニフェストや EU 政策演説などの長いテキストを位置づけます。
10 の異なる言語。
最良の LLM で得られた位置推定と、専門家、クラウドワーカー、または点呼投票によるテキスト コーディングに基づくベンチマークとの相関関係は、0.90 を超えています。
このアプローチは一般に、大量の研究データでトレーニングされた教師付き分類器で取得された位置よりも正確です。
命令調整された LLM を使用してテキストを政策およびイデオロギー空間に配置することは、テキストが短く、異なる言語で書かれている場合でも、高速でコスト効率が高く、信頼性が高く、再現可能です (オープン LLM の場合)。
最後に、経験的検証の必要性についての注意事項を述べます。

要約(オリジナル)

We use instruction-tuned Large Language Models (LLMs) like GPT-4, Llama 3, MiXtral, or Aya to position political texts within policy and ideological spaces. We ask an LLM where a tweet or a sentence of a political text stands on the focal dimension and take the average of the LLM responses to position political actors such as US Senators, or longer texts such as UK party manifestos or EU policy speeches given in 10 different languages. The correlations between the position estimates obtained with the best LLMs and benchmarks based on text coding by experts, crowdworkers, or roll call votes exceed .90. This approach is generally more accurate than the positions obtained with supervised classifiers trained on large amounts of research data. Using instruction-tuned LLMs to position texts in policy and ideological spaces is fast, cost-efficient, reliable, and reproducible (in the case of open LLMs) even if the texts are short and written in different languages. We conclude with cautionary notes about the need for empirical validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google