Scaling Political Texts with ChatGPT

要約

GPT-4 を使用して、連続空間内の政治テキストの位置推定を取得します。
私たちは、英国の政党マニフェストを経済、社会、移民政策の側面に位置づけ、米国議会議員のツイートを左右のイデオロギー領域に位置づけることによって、新しいアプローチを開発し検証します。
党マニフェストの場合、GPT-4 と専門家によって生成されたポジション間の相関関係は 93% 以上であり、クラウドソーシングによるポジション推定で得られたものと同等かそれ以上のパフォーマンスです。
個々のツイートについて、GPT-4 で取得された位置は、クラウドソースによる位置推定と 91% の相関関係を達成しています。
第 117 回米国議会の上院議員の場合、GPT-4 で得られた順位は、点呼投票に基づく推定値と 97%、選挙資金に基づく推定値と 96% の相関関係を達成しています。
党内の相関関係も大きく、GPT-4 で生成された立場推定値が上院議員間の党内差異を捉えていることを示しています。
全体として、イデオロギーのスケーリングに GPT-4 を使用すると、高速でコスト効率が高く、信頼性が高くなります。
このアプローチは、専門評価者とクラウドソーシングの両方によるスケーリングに代わる実行可能な代替手段を提供します。

要約(オリジナル)

We use GPT-4 to obtain position estimates of political texts in continuous spaces. We develop and validate a new approach by positioning British party manifestos on the economic, social, and immigration policy dimensions and tweets by members of the US Congress on the left-right ideological spectrum. For the party manifestos, the correlation between the positions produced by GPT-4 and experts is 93% or higher, a performance similar to or better than that obtained with crowdsourced position estimates. For individual tweets, the positions obtained with GPT-4 achieve a correlation of 91% with crowdsourced position estimates. For senators of the 117th US Congress, the positions obtained with GPT-4 achieve a correlation of 97% with estimates based on roll call votes and of 96% with those based on campaign funding. Correlations are also substantial within party, indicating that position estimates produced with GPT-4 capture within-party differences between senators. Overall, using GPT-4 for ideological scaling is fast, cost-efficient, and reliable. This approach provides a viable alternative to scaling by both expert raters and crowdsourcing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google