Comparative Insights from 12 Machine Learning Models in Extracting Economic Ideology from Political Text

要約

この研究では、経済イデオロギーを検出する際の 12 の機械学習モデルとモデルのバリエーションの機能を体系的に評価しています。
評価ベンチマークとして、私は英国の 6 回の選挙にわたるマニフェスト データを使用し、専門家とクラウド コーダーによって事前にアノテーションが付けられています。
この分析では、いくつかの生成モデル、微調整モデル、およびゼロショット モデルのパフォーマンスを粒度および集計レベルで評価します。
結果は、GPT-4o や Gemini 1.5 Flash などの生成モデルが、すべてのベンチマークに対して他のモデルよりも一貫して優れていることを示しています。
ただし、アクセシビリティとリソースの可用性の問題が生じます。
微調整により競争力のあるパフォーマンスが得られ、ドメイン固有の最適化を通じて信頼性の高い代替手段が提供されます。
しかし、トレーニング データへの依存により、スケーラビリティが大幅に制限されます。
ゼロショット モデルは、経済イデオロギーのシグナルを特定するという困難に常に直面しており、その結果、人間によるコーディングとの否定的な関連が生じることがよくあります。
イデオロギーのスケーリングという領域固有のタスクに一般知識を使用することは信頼できないことが判明しました。
その他の重要な発見には、パーティ内でのかなりのばらつき、大規模なトレーニング データから恩恵を受ける微調整、プロンプト コンテンツに対するゼロショットの感度などが含まれます。
評価には各モデルの長所と限界が含まれており、政治的内容の自動分析のベストプラクティスを導き出します。

要約(オリジナル)

This study conducts a systematic assessment of the capabilities of 12 machine learning models and model variations in detecting economic ideology. As an evaluation benchmark, I use manifesto data spanning six elections in the United Kingdom and pre-annotated by expert and crowd coders. The analysis assesses the performance of several generative, fine-tuned, and zero-shot models at the granular and aggregate levels. The results show that generative models such as GPT-4o and Gemini 1.5 Flash consistently outperform other models against all benchmarks. However, they pose issues of accessibility and resource availability. Fine-tuning yielded competitive performance and offers a reliable alternative through domain-specific optimization. But its dependency on training data severely limits scalability. Zero-shot models consistently face difficulties with identifying signals of economic ideology, often resulting in negative associations with human coding. Using general knowledge for the domain-specific task of ideology scaling proved to be unreliable. Other key findings include considerable within-party variation, fine-tuning benefiting from larger training data, and zero-shot’s sensitivity to prompt content. The assessments include the strengths and limitations of each model and derive best-practices for automated analyses of political content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google