The Wisdom of Partisan Crowds: Comparing Collective Intelligence in Humans and LLM-based Agents

要約

人間の集団は、二極化や党派的な偏見が存在する場合でも、熟慮を通じてより正確な信念に収束することができます。これは「党派的な群衆の知恵」として知られる現象です。
大規模言語モデル (LLM) を利用して生成されたエージェントは、人間の集団行動をシミュレートするためにますます使用されていますが、人間の集団の行動に対するそのダイナミクスを評価するためのベンチマークはほとんど存在しません。
この論文では、党派的なペルソナ (民主党や共和党員など) としてロールプレイするよう促された LLM ベースのエージェントのグループで、党派的な群衆の知恵がどの程度現れるかを検証します。
彼らは人間のような党派的な偏見を示すだけでなく、人間と同じように熟考を通じてより正確な信念に収束することがわかりました。
次に、思考連鎖プロンプトの使用やペルソナの詳細の欠如など、収束を妨げるいくつかの要因を特定します。
逆に、人間のデータを微調整すると収束が向上するようです。
これらの発見は、人間の集合知のモデルとしての LLM ベースのエージェントの可能性と限界を示しています。

要約(オリジナル)

Human groups are able to converge on more accurate beliefs through deliberation, even in the presence of polarization and partisan bias — a phenomenon known as the ‘wisdom of partisan crowds.’ Generated agents powered by Large Language Models (LLMs) are increasingly used to simulate human collective behavior, yet few benchmarks exist for evaluating their dynamics against the behavior of human groups. In this paper, we examine the extent to which the wisdom of partisan crowds emerges in groups of LLM-based agents that are prompted to role-play as partisan personas (e.g., Democrat or Republican). We find that they not only display human-like partisan biases, but also converge to more accurate beliefs through deliberation as humans do. We then identify several factors that interfere with convergence, including the use of chain-of-thought prompt and lack of details in personas. Conversely, fine-tuning on human data appears to enhance convergence. These findings show the potential and limitations of LLM-based agents as a model of human collective intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google