Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View

要約

自然言語処理（NLP）システムが複雑な社会環境でますます採用されるにつれ、差し迫った疑問が浮上してくる：複数の大規模言語モデル（LLM）から構成されるマルチエージェント社会において、これらの自然言語処理システムは人間のような協調的知性を反映できるのだろうか？本論文では、実用的な実験と理論的な洞察を融合させることで、現代のNLPシステム間の協調メカニズムを探る。LLMエージェントで構成される4つのユニークな「社会」を作り、各エージェントは特定の「特性」（気楽か自信過剰か）を持ち、明確な「思考パターン」（討論か内省か）でコラボレーションを行う。これらのマルチエージェント社会を3つのベンチマークデータセットで評価した結果、LLMエージェントは、活発な議論から内省的な考察まで、多様な社会的行動を活用してタスクをナビゲートすることがわかった。注目すべきは、特定の協調戦略は、効率（より少ないAPIトークンの使用）を最適化するだけでなく、以前のトップクラスのアプローチを凌駕することである。さらに、我々の結果は、LLMエージェントが、社会心理学の基礎理論を反映し、適合性や多数決のような人間のような社会的行動を示すことをさらに示している。結論として、我々は社会心理学からの洞察を統合し、LLMエージェントのコラボレーションの文脈を明らかにすることで、LLMのコラボレーションメカニズムのさらなる研究を促す。我々は、コードとデータセット（補足資料として提出済み）を共有することを約束し、この有望な道における更なる研究の触媒となることを期待している（全てのコードとデータは♪url{https://github.com/zjunlp/MachineSoM}で入手可能である）。

要約(オリジナル)

As Natural Language Processing (NLP) systems are increasingly employed in intricate social environments, a pressing query emerges: Can these NLP systems mirror human-esque collaborative intelligence, in a multi-agent society consisting of multiple large language models (LLMs)? This paper probes the collaboration mechanisms among contemporary NLP systems by melding practical experiments with theoretical insights. We fabricate four unique `societies’ comprised of LLM agents, where each agent is characterized by a specific `trait’ (easy-going or overconfident) and engages in collaboration with a distinct `thinking pattern’ (debate or reflection). Evaluating these multi-agent societies on three benchmark datasets, we discern that LLM agents navigate tasks by leveraging diverse social behaviors, from active debates to introspective reflections. Notably, certain collaborative strategies only optimize efficiency (using fewer API tokens), but also outshine previous top-tier approaches. Moreover, our results further illustrate that LLM agents manifest human-like social behaviors, such as conformity or majority rule, mirroring foundational Social Psychology theories. In conclusion, we integrate insights from Social Psychology to contextualize the collaboration of LLM agents, inspiring further investigations into the collaboration mechanism for LLMs. We commit to sharing our code and datasets (already submitted in supplementary materials), hoping to catalyze further research in this promising avenue (All code and data are available at \url{https://github.com/zjunlp/MachineSoM}.).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL