Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

要約

人間の知性は認知的シナジーによって繁栄し、異なる頭脳のコラボレーションは孤立した個人と比較して優れた結果をもたらす。この研究では、複数のペルソナとマルチターンのセルフコラボレーションを行うことで、1人のLLMを認知シナジストに変身させるソロパフォーマンスプロンプティング（SPP）を提案する。コグニティブシナジストとは、複雑なタスクの問題解決を強化するために、複数のマインドの強みと知識を協調的に組み合わせる知的エージェントのことである。タスク入力に基づいて異なるペルソナを動的に識別しシミュレーションすることで、SPPはLLMにおける認知シナジーの可能性を解き放つ。我々の詳細な分析により、LLMにおいて複数のペルソナをきめ細かく割り当てることで、単一または固定数のペルソナを使用する場合と比較して、問題解決能力が向上することが示された。我々はSPPを3つの難易度の高いタスクで評価した：トリビア・クリエイティブ・ライティング、コードネーム・コラボレーション、ロジック・グリッド・パズルである。LLMの推論能力を強化するだけのChain-of-Thoughtのような先行研究とは異なり、実験結果はSPPが事実幻覚を効果的に減少させ、強力な推論能力を維持することを示している。さらに、比較実験により、認知シナジーはGPT-4においてのみ現れ、GPT-3.5-turboやLlama2-13b-chatのような能力の低いモデルでは現れないことが示されており、これは人間の発達に類似した興味深い結果を示している。コード、データ、プロンプトはhttps://github.com/MikeWangWZHL/Solo-Performance-Prompting.git。

要約(オリジナル)

Human intelligence thrives on cognitive synergy, where collaboration among different minds yield superior outcomes compared to isolated individuals. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist is an intelligent agent that collaboratively combines multiple minds’ strengths and knowledge to enhance problem-solving in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. Our in-depth analysis shows that assigning multiple fine-grained personas in LLMs improves problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, experimental results demonstrate that SPP effectively reduces factual hallucination, and maintains strong reasoning capabilities. Additionally, comparative experiments show that cognitive synergy only emerges in GPT-4 and does not appear in less capable models, such as GPT-3.5-turbo and Llama2-13b-chat, which draws an interesting analogy to human development. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL