Systematic Biases in LLM Simulations of Debates

要約

自然言語処理の最近の進歩、特に大規模言語モデル (LLM) の出現により、人間の行動を正確に再現するように設計された計算シミュレーションを構築するための刺激的な可能性が開かれました。
ただし、LLM は単純な演繹ルールを持たない複雑な統計学習器であるため、予期しない動作が発生する傾向があります。
この研究では、人間の相互作用をシミュレートする際の LLM の限界を強調し、特に政治的議論をシミュレートする LLM の能力に焦点を当てます。
私たちの調査結果は、LLMエージェントが特定の政治的観点から議論するように指示されているにもかかわらず、モデルに固有の社会的バイアスに従う傾向があることを示しています。
この傾向は、人間の間に確立された社会的力学から逸脱しているように見える行動パターンをもたらします。
我々は、自動自己微調整法を使用してこれらの観察を補強します。これにより、LLM 内のバイアスを操作し、その後エージェントが変更されたバイアスに合わせて調整されることを実証できます。
これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を強調しており、これはより現実的なシミュレーションを作成するための重要なステップです。

要約(オリジナル)

Recent advancements in natural language processing, especially the emergence of Large Language Models (LLMs), have opened exciting possibilities for constructing computational simulations designed to replicate human behavior accurately. However, LLMs are complex statistical learners without straightforward deductive rules, making them prone to unexpected behaviors. In this study, we highlight the limitations of LLMs in simulating human interactions, particularly focusing on LLMs’ ability to simulate political debates. Our findings indicate a tendency for LLM agents to conform to the model’s inherent social biases despite being directed to debate from certain political perspectives. This tendency results in behavioral patterns that seem to deviate from well-established social dynamics among humans. We reinforce these observations using an automatic self-fine-tuning method, which enables us to manipulate the biases within the LLM and demonstrate that agents subsequently align with the altered biases. These results underscore the need for further research to develop methods that help agents overcome these biases, a critical step toward creating more realistic simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google