A Cautionary Tale About ‘Neutrally’ Informative AI Tools Ahead of the 2025 Federal Elections in Germany

要約

この研究では、客観的な政治情報を提供する際に、AIベースの投票アドバイスアプリケーション（VAAS）および大規模な言語モデル（LLM）の信頼性を調べます。
私たちの分析は、WAHL-O-MATの38の声明に対する党の回答との比較に基づいています。Wahl-O-Matは、彼らの意見を政党の立場と比較することで有権者に通知するのに役立つ、確立されたドイツのオンラインツールです。
LLMSについては、重要なバイアスを特定します。
彼らは、左翼のパーティーと強い整列（平均で75％以上）を示し、中心右（50％が小さい）および右翼のパーティー（約30％）との大幅に低い整合性を示します。
さらに、有権者に客観的に通知することを目的としたVAAの場合、WAHL-O-MATの当事者の記載されているポジションからの実質的な逸脱を発見しました。
。
後者については、単純な迅速な注入が、政党と右翼の過激派の関係の間の存在しないつながりなどの誤った主張を含む、深刻な幻覚をもたらしたことさえ観察しました。

要約(オリジナル)

In this study, we examine the reliability of AI-based Voting Advice Applications (VAAs) and large language models (LLMs) in providing objective political information. Our analysis is based upon a comparison with party responses to 38 statements of the Wahl-O-Mat, a well-established German online tool that helps inform voters by comparing their views with political party positions. For the LLMs, we identify significant biases. They exhibit a strong alignment (over 75% on average) with left-wing parties and a substantially lower alignment with center-right (smaller 50%) and right-wing parties (around 30%). Furthermore, for the VAAs, intended to objectively inform voters, we found substantial deviations from the parties’ stated positions in Wahl-O-Mat: While one VAA deviated in 25% of cases, another VAA showed deviations in more than 50% of cases. For the latter, we even observed that simple prompt injections led to severe hallucinations, including false claims such as non-existent connections between political parties and right-wing extremist ties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google