Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration

要約

人間の知性は認知の相乗効果によって成長し、異なる精神間の協力は孤立した個人と比較して優れた結果をもたらします。
この研究では、複数のペルソナとマルチターンの自己コラボレーションを行うことで、単一の LLM を認知相乗効果者に変換するソロ パフォーマンス プロンプティング (SPP) を提案します。
コグニティブ・シナジストは、複数の心の強みと知識を協力して組み合わせて、複雑なタスクの問題解決を強化するインテリジェント・エージェントです。
SPP は、タスク入力に基づいてさまざまなペルソナを動的に識別してシミュレーションすることにより、LLM の認知相乗効果の可能性を解き放ちます。
当社の詳細な分析により、LLM で複数のきめ細かいペルソナを割り当てると、単一または固定数のペルソナを使用する場合と比較して、問題解決能力が向上することがわかりました。
私たちは、知識集約型と推論集約型の両方を含む、トリビア クリエイティブ ライティング、コードネーム コラボレーション、ロジック グリッド パズルという 3 つの難しいタスクで SPP を評価します。
LLM の推論能力を単に強化するだけの Chain-of-Thought などの以前の作品とは異なり、実験結果は、SPP が事実上の幻覚を効果的に軽減し、強力な推論能力を維持することを示しています。
さらに、比較実験では、認知相乗効果が GPT-4 でのみ現れ、GPT-3.5-turbo や Llama2-13b-chat などの能力の低いモデルでは現れないことが示されており、これは人間の発達と興味深い類似性を示しています。
コード、データ、およびプロンプトは、https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git で見つけることができます。

要約(オリジナル)

Human intelligence thrives on cognitive synergy, where collaboration among different minds yield superior outcomes compared to isolated individuals. In this work, we propose Solo Performance Prompting (SPP), which transforms a single LLM into a cognitive synergist by engaging in multi-turn self-collaboration with multiple personas. A cognitive synergist is an intelligent agent that collaboratively combines multiple minds’ strengths and knowledge to enhance problem-solving in complex tasks. By dynamically identifying and simulating different personas based on task inputs, SPP unleashes the potential of cognitive synergy in LLMs. Our in-depth analysis shows that assigning multiple fine-grained personas in LLMs improves problem-solving abilities compared to using a single or fixed number of personas. We evaluate SPP on three challenging tasks: Trivia Creative Writing, Codenames Collaborative, and Logic Grid Puzzle, encompassing both knowledge-intensive and reasoning-intensive types. Unlike previous works, such as Chain-of-Thought, that solely enhance the reasoning abilities in LLMs, experimental results demonstrate that SPP effectively reduces factual hallucination, and maintains strong reasoning capabilities. Additionally, comparative experiments show that cognitive synergy only emerges in GPT-4 and does not appear in less capable models, such as GPT-3.5-turbo and Llama2-13b-chat, which draws an interesting analogy to human development. Code, data, and prompts can be found at: https://github.com/MikeWangWZHL/Solo-Performance-Prompting.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google