Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs

要約

命令によって微調整された大規模言語モデルは、下流のタスクのパフォーマンスに影響を与えることが示されている明確な政治的傾向を継承しています。
私たちはこの一連の研究を米国の二大政党制を超えて拡張し、さまざまな設定で EU 政治の文脈でラマ チャットを監査し、モデルの政治的知識と文脈に応じた推論能力を分析します。
私たちは、EUandIのアンケートに基づいてその政治的傾向を再評価するために、欧州議会での議論からの個々のユーロ政党のスピーチにラマチャットを適応させ、つまりさらに微調整しています。
ラマ チャットは各国の政党の立場についてかなりの知識を示しており、文脈に応じて推論することができます。
適応された政党固有のモデルは、政治学の研究を支援するデータ駆動型の会話エンジンとしてチャットベースの LLM を使用するための出発点として、それぞれの立場に向けて実質的に再調整されています。

要約(オリジナル)

Instruction-finetuned Large Language Models inherit clear political leanings that have been shown to influence downstream task performance. We expand this line of research beyond the two-party system in the US and audit Llama Chat in the context of EU politics in various settings to analyze the model’s political knowledge and its ability to reason in context. We adapt, i.e., further fine-tune, Llama Chat on speeches of individual euro-parties from debates in the European Parliament to reevaluate its political leaning based on the EUandI questionnaire. Llama Chat shows considerable knowledge of national parties’ positions and is capable of reasoning in context. The adapted, party-specific, models are substantially re-aligned towards respective positions which we see as a starting point for using chat-based LLMs as data-driven conversational engines to assist research in political science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google