Hidden Persuaders: LLMs’ Political Leaning and Their Influence on Voters

要約

LLM は私たちの民主主義にどのような影響を与えるのでしょうか?
私たちは、米国大統領選挙の文脈で複数の実験を行うことにより、LLM の政治的傾向と有権者に対する LLM の潜在的な影響を調査します。
投票シミュレーションを通じて、まず、18 のオープンウェイトおよびクローズドウェイト LLM が共和党候補者よりも民主党候補者を政治的に好むことを実証しました。
私たちは、候補者の政策関連の質問に対する回答を分析することで、基本バージョンと比較して、指導調整モデルで民主党候補者への傾向がどのように顕著になるかを示します。
私たちは、米国の登録有権者 935 人を対象に実験を実施することで、有権者の選択に対する LLM の潜在的な影響をさらに調査します。
実験中、参加者は 5 回の交換にわたって LLM (Claude-3、Llama-3、および GPT-4) と対話しました。
実験結果は、LLM が討論中にユーザーに民主党候補者を支持するよう説得するよう求められなかったにもかかわらず、LLM の対話後に有権者の選択が民主党候補者にシフトし、投票マージンが 0.7% から 4.6% に拡大したことを示しています。
この効果は、大統領選挙では最小限の効果しか示されていない、政治運動の説得力に関するこれまでの多くの研究よりも大きい。
多くのユーザーも、LLM との政治的交流をさらに深めたいという要望を表明しました。
LLM 相互作用のどの側面が有権者の選択におけるこうした変化を引き起こしたかについては、さらなる研究が必要です。
最後に、いくつかの未解決の疑問を残しながら、安全方法によって LLM をより政治的に中立にする方法を検討します。

要約(オリジナル)

How could LLMs influence our democracy? We investigate LLMs’ political leanings and the potential influence of LLMs on voters by conducting multiple experiments in a U.S. presidential election context. Through a voting simulation, we first demonstrate 18 open- and closed-weight LLMs’ political preference for a Democratic nominee over a Republican nominee. We show how this leaning towards the Democratic nominee becomes more pronounced in instruction-tuned models compared to their base versions by analyzing their responses to candidate-policy related questions. We further explore the potential impact of LLMs on voter choice by conducting an experiment with 935 U.S. registered voters. During the experiments, participants interacted with LLMs (Claude-3, Llama-3, and GPT-4) over five exchanges. The experiment results show a shift in voter choices towards the Democratic nominee following LLM interaction, widening the voting margin from 0.7% to 4.6%, even though LLMs were not asked to persuade users to support the Democratic nominee during the discourse. This effect is larger than many previous studies on the persuasiveness of political campaigns, which have shown minimal effects in presidential elections. Many users also expressed a desire for further political interaction with LLMs. Which aspects of LLM interactions drove these shifts in voter choice requires further study. Lastly, we explore how a safety method can make LLMs more politically neutral, while leaving some open questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google