Systematic Biases in LLM Simulations of Debates

要約

大規模言語モデル (LLM) の出現により、人間の行動を正確に再現するように設計された計算シミュレーションを構築するための刺激的な可能性が開かれました。
現在の研究では、LLM ベースのエージェントのパフォーマンスがますます人間に近づいていることが示唆されており、行動研究における人間の参加者の代替としてこれらの AI エージェントを使用することへの関心が高まっています。
ただし、LLM は単純な演繹ルールを持たない複雑な統計学習器であるため、予期しない動作が発生する傾向があります。
したがって、人間と LLM ベースのエージェントの間の重要な行動の違いを研究し、特定することが重要です。
この研究では、人間の相互作用をシミュレートする際の LLM の限界を強調し、特に人々の日常生活や意思決定プロセスの重要な側面であるトピックに関する政治的議論をシミュレートする LLM の能力に焦点を当てます。
私たちの調査結果は、LLM エージェントが特定の政治的観点から議論するよう指示されているにもかかわらず、モデルに固有の社会的バイアスに従う傾向があることを示しています。
この傾向により、人間の間に確立された社会力学から逸脱しているように見える行動パターンが生じます。
我々は、自動自己微調整法を使用してこれらの観察を補強します。これにより、LLM 内のバイアスを操作し、その後エージェントが変更されたバイアスに合わせて調整されることを実証できます。
これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を強調しており、これはより現実的なシミュレーションを作成するための重要なステップです。

要約(オリジナル)

The emergence of Large Language Models (LLMs), has opened exciting possibilities for constructing computational simulations designed to replicate human behavior accurately. Current research suggests that LLM-based agents become increasingly human-like in their performance, sparking interest in using these AI agents as substitutes for human participants in behavioral studies. However, LLMs are complex statistical learners without straightforward deductive rules, making them prone to unexpected behaviors. Hence, it is crucial to study and pinpoint the key behavioral distinctions between humans and LLM-based agents. In this study, we highlight the limitations of LLMs in simulating human interactions, particularly focusing on LLMs’ ability to simulate political debates on topics that are important aspects of people’s day-to-day lives and decision-making processes. Our findings indicate a tendency for LLM agents to conform to the model’s inherent social biases despite being directed to debate from certain political perspectives. This tendency results in behavioral patterns that seem to deviate from well-established social dynamics among humans. We reinforce these observations using an automatic self-fine-tuning method, which enables us to manipulate the biases within the LLM and demonstrate that agents subsequently align with the altered biases. These results underscore the need for further research to develop methods that help agents overcome these biases, a critical step toward creating more realistic simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google