Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View

要約

自然言語処理 (NLP) システムが複雑な社会環境でますます採用されるようになるにつれ、差し迫った疑問が生じます。これらの NLP システムは、複数の大規模言語モデル (LLM) で構成されるマルチエージェント社会において、人間のような協調的知性を反映できるのでしょうか?
この論文では、実践的な実験と理論的な洞察を融合させることによって、現代の NLP システム間のコラボレーション メカニズムを調査します。
私たちは LLM エージェントで構成される 4 つのユニークな「社会」を構築します。そこでは、各エージェントが特定の「特性」 (気楽または自信過剰) によって特徴付けられ、明確な「思考パターン」 (議論または反省) と協力します。
これらのマルチエージェント社会を 3 つのベンチマーク データセットで評価することにより、特定の協力戦略が以前の最上位のアプローチを上回るだけでなく、(より少ない API トークンを使用して) 効率を最適化することもわかりました。
さらに、我々の結果は、LLMエージェントが基本的な社会心理学の理論を反映して、同調や合意形成などの人間のような社会的行動を示すことを示しています。
結論として、私たちは社会心理学からの洞察を統合して、LLM エージェントのコラボレーションを文脈化し、LLM のコラボレーション メカニズムのさらなる調査を促します。
私たちはコードとデータセット\footnote{\url{https://github.com/zjunlp/MachineSoM}.}を共有することに尽力し、この有望な道におけるさらなる研究の促進を期待しています。

要約(オリジナル)

As Natural Language Processing (NLP) systems are increasingly employed in intricate social environments, a pressing query emerges: Can these NLP systems mirror human-esque collaborative intelligence, in a multi-agent society consisting of multiple large language models (LLMs)? This paper probes the collaboration mechanisms among contemporary NLP systems by melding practical experiments with theoretical insights. We fabricate four unique `societies’ comprised of LLM agents, where each agent is characterized by a specific `trait’ (easy-going or overconfident) and engages in collaboration with a distinct `thinking pattern’ (debate or reflection). Through evaluating these multi-agent societies on three benchmark datasets, we discern that certain collaborative strategies not only outshine previous top-tier approaches, but also optimize efficiency (using fewer API tokens). Moreover, our results further illustrate that LLM agents manifest human-like social behaviors, such as conformity and consensus reaching, mirroring foundational social psychology theories. In conclusion, we integrate insights from social psychology to contextualize the collaboration of LLM agents, inspiring further investigations into the collaboration mechanism for LLMs. We commit to sharing our code and datasets\footnote{\url{https://github.com/zjunlp/MachineSoM}.}, hoping to catalyze further research in this promising avenue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google