Revealing Political Bias in LLMs through Structured Multi-Agent Debate

要約

大規模な言語モデル（LLM）は、社会的行動をシミュレートするためにますます使用されていますが、議論における政治的バイアスと相互作用のダイナミクスは依存していないままです。
LLMタイプとエージェントのジェンダー属性は、政治的に敏感なトピックに関する議論で中立、共和党、民主党のアメリカのLLMエージェントを引き付けることにより、構造化されたマルチエージェント討論フレームワークを使用して政治的バイアスにどのように影響するかを調査します。
基礎となるLLM、エージェント性別、議論の形式を体系的に変化させて、モデルの起源とエージェントペルソナが議論を通じて政治的バイアスと態度にどのように影響するかを調べます。
共和党員が中立に近づく一方で、中立エージェントは一貫して民主党と一致していることがわかります。
ジェンダーは、エージェントが他のエージェントの性別を認識したときに意見を適応させるエージェントの態度に影響を与えます。
そして、以前の研究に反して、共有された政治的提携を持つエージェントはエコーチャンバーを形成することができ、議論が進行するにつれて態度の予想される強化を示します。

要約(オリジナル)

Large language models (LLMs) are increasingly used to simulate social behaviour, yet their political biases and interaction dynamics in debates remain underexplored. We investigate how LLM type and agent gender attributes influence political bias using a structured multi-agent debate framework, by engaging Neutral, Republican, and Democrat American LLM agents in debates on politically sensitive topics. We systematically vary the underlying LLMs, agent genders, and debate formats to examine how model provenance and agent personas influence political bias and attitudes throughout debates. We find that Neutral agents consistently align with Democrats, while Republicans shift closer to the Neutral; gender influences agent attitudes, with agents adapting their opinions when aware of other agents’ genders; and contrary to prior research, agents with shared political affiliations can form echo chambers, exhibiting the expected intensification of attitudes as debates progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google