Investigating LLMs as Voting Assistants via Contextual Augmentation: A Case Study on the European Parliament Elections 2024

要約

命令によって微調整された大規模言語モデルは、前例のない自然言語理解機能を示します。
最近の研究では、主に米国の文脈を対象として、LLM の政治的偏見と政治的推論能力を調査しています。
最近の 2024 年の欧州議会選挙を考慮して、LLM を投票アドバイス アプリケーション (VAA) として使用できるかどうかを調査しています。
私たちは MISTRAL モデルと MIXTRAL モデルを監査し、最新の「EU と私」の投票支援アンケートに基づいて政党の立場を予測する精度を評価します。
さらに、Web 検索に依存した検索拡張生成 (RAG) と、モデルの内部メモリから関連するコンテンツを再収集することを目的とした段階的な会話を使用した自己反映を介して入力コンテキストを強化することにより、モデルのパフォーマンスを向上させる代替案を模索します。
MIXTRAL は平均 82% の精度で非常に正確であることがわかりました。
専門家が厳選した情報で入力コンテキストを強化すると、約 100 ドルの大幅な向上につながる可能性があります。
9% ですが、これは自動化されたアプローチにとって依然として未解決の課題です。

要約(オリジナル)

Instruction-finetuned Large Language Models exhibit unprecedented Natural Language Understanding capabilities. Recent work has been exploring political biases and political reasoning capabilities in LLMs, mainly scoped in the US context. In light of the recent 2024 European Parliament elections, we are investigating if LLMs can be used as Voting Advice Applications (VAAs). We audit MISTRAL and MIXTRAL models and evaluate their accuracy in predicting the stance of political parties based on the latest ‘EU and I’ voting assistance questionnaire. Furthermore, we explore alternatives to improve models’ performance by augmenting the input context via Retrieval-Augmented Generation (RAG) relying on web search, and Self-Reflection using staged conversations that aim to re-collect relevant content from the model’s internal memory. We find that MIXTRAL is highly accurate with an 82% accuracy on average. Augmenting the input context with expert-curated information can lead to a significant boost of approx. 9%, which remains an open challenge for automated approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google