LLM Voting: Human Choices and AI Collective Decision Making

要約

この論文では、大規模言語モデル (LLM)、特に GPT-4 と LLaMA-2 の投票行動、そのバイアス、および人間の投票パターンとどのように一致するかを調査します。
私たちの方法論には、人間の投票実験からのデータセットを使用して人間の好みのベースラインを確立し、LLM エージェントを使用して対応する実験を実施することが含まれていました。
投票方法の選択とプレゼンテーションの順序が LLM の投票結果に影響を与えることが観察されました。
私たちは、ペルソナを変えることでこれらのバイアスの一部を軽減し、人間の選択との整合性を高めることができることを発見しました。
思考連鎖アプローチでは予測精度は向上しませんでしたが、投票プロセスにおける AI の説明可能性が高まる可能性があります。
また、異なる温度設定の影響を受ける、LLM の好みの多様性とアライメント精度の間のトレードオフも特定しました。
私たちの調査結果は、LLM が投票シナリオで使用されると、集合的な結果の多様性が低くなり、偏った仮定につながる可能性があることを示しており、LLM を民主的プロセスに慎重に統合する必要性が強調されています。

要約(オリジナル)

This paper investigates the voting behaviors of Large Language Models (LLMs), specifically GPT-4 and LLaMA-2, their biases, and how they align with human voting patterns. Our methodology involved using a dataset from a human voting experiment to establish a baseline for human preferences and conducting a corresponding experiment with LLM agents. We observed that the choice of voting methods and the presentation order influenced LLM voting outcomes. We found that varying the persona can reduce some of these biases and enhance alignment with human choices. While the Chain-of-Thought approach did not improve prediction accuracy, it has potential for AI explainability in the voting process. We also identified a trade-off between preference diversity and alignment accuracy in LLMs, influenced by different temperature settings. Our findings indicate that LLMs may lead to less diverse collective outcomes and biased assumptions when used in voting scenarios, emphasizing the need for cautious integration of LLMs into democratic processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google