Conformity, Confabulation, and Impersonation: Persona Inconstancy in Multi-Agent LLM Collaboration

要約

マルチエージェント AI システムは、科学的および実用的なアプリケーションにおける集団的な意思決定をシミュレートするために使用できます。
また、チャットボット パイプラインに多様なグループ ディスカッション ステップを導入するために使用することもでき、チャットボットの応答の文化的配慮を高めることができます。
ただし、これらのアプリケーションは、割り当てられたペルソナを確実に採用し、人間の対話を模倣する AI エージェントの能力を前提としています。
これらの要件を満たす LLM エージェントの能力を評価するために、私たちは、プライベートな応答やチャットのトランスクリプトを分析することによって、文化的なコラボレーションや議論に従事している AI エージェントのアンサンブルを調べます。
私たちの調査結果は、複数のエージェントによるディスカッションが、多様な視点を反映した集合的な意思決定を促進する可能性があることを示唆していますが、この利点は、認識された同僚からのプレッシャーや、一貫したペルソナや意見を維持する上での課題によるエージェントの同調性への感受性によって弱められます。
協力するのではなく、自分の意見を支持する議論を奨励するような指示は、不一致の割合を高めます。
私たちが特定した要因に対処しなければ、より文化的に多様な AI 出力や、グループ意思決定のより現実的なシミュレーションを生成するためのマルチエージェント フレームワークの可能性は最大限に活用されないままになります。

要約(オリジナル)

Multi-agent AI systems can be used for simulating collective decision-making in scientific and practical applications. They can also be used to introduce a diverse group discussion step in chatbot pipelines, enhancing the cultural sensitivity of the chatbot’s responses. These applications, however, are predicated on the ability of AI agents to reliably adopt assigned personas and mimic human interactions. To evaluate the ability of LLM agents to satisfy these requirements, we examine AI agent ensembles engaged in cultural collaboration and debate by analyzing their private responses and chat transcripts. Our findings suggest that multi-agent discussions can encourage collective decisions that reflect diverse perspectives, yet this benefit is tempered by the agents’ susceptibility to conformity due to perceived peer pressure and challenges in maintaining consistent personas and opinions. Instructions that encourage debate in support of one’s opinions rather than collaboration increase the rate of inconstancy. Without addressing the factors we identify, the full potential of multi-agent frameworks for producing more culturally diverse AI outputs or more realistic simulations of group decision-making will remain untapped.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google