LLM Voting: Human Choices and AI Collective Decision Making

要約

この論文では、大規模言語モデル (LLM)、特に GPT-4 と LLaMA-2 の投票行動、そのバイアス、および人間の投票パターンとどのように一致するかを調査します。
私たちの方法論には、人間の投票実験からのデータセットを使用して人間の好みのベースラインを確立し、LLM エージェントを使用した対応する実験が含まれていました。
私たちは、投票の入力と選択肢の提示に使用される方法が LLM の投票行動に影響を与えることを観察しました。
私たちは、ペルソナを変えることでこれらのバイアスの一部を軽減し、人間の選択との整合性を高めることができることを発見しました。
思考連鎖アプローチでは予測精度は向上しませんでしたが、投票プロセスにおける AI の説明可能性が高まる可能性があります。
また、異なる温度設定の影響を受ける、LLM の好みの多様性とアライメント精度の間のトレードオフも特定しました。
私たちの調査結果は、LLM が投票シナリオで使用されると、集合的な結果の多様性が低くなり、偏った仮定につながる可能性があることを示しており、LLM を民主的プロセスに慎重に統合することの重要性を強調しています。

要約(オリジナル)

This paper investigates the voting behaviors of Large Language Models (LLMs), specifically GPT-4 and LLaMA-2, their biases, and how they align with human voting patterns. Our methodology involved using a dataset from a human voting experiment to establish a baseline for human preferences and a corresponding experiment with LLM agents. We observed that the methods used for voting input and the presentation of choices influence LLM voting behavior. We discovered that varying the persona can reduce some of these biases and enhance alignment with human choices. While the Chain-of-Thought approach did not improve prediction accuracy, it has potential for AI explainability in the voting process. We also identified a trade-off between preference diversity and alignment accuracy in LLMs, influenced by different temperature settings. Our findings indicate that LLMs may lead to less diverse collective outcomes and biased assumptions when used in voting scenarios, emphasizing the importance of cautious integration of LLMs into democratic processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google