Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?

要約

LLM の議論における最近の進歩は、マルチエージェントの議論が LLM の推論能力を向上させることを示唆しています。
この研究では、体系的な実験を通じてこの主張を再評価し、一連の議論メカニズムを強化するための新しいグループ ディスカッションの枠組みを提案します。
興味深いことに、私たちの結果は、強力なプロンプトを備えたシングルエージェント LLM が、幅広い推論タスクとバックボーン LLM に対して既存の最良のディスカッション アプローチとほぼ同じパフォーマンスを達成できることを示しています。
プロンプトにデモンストレーションがない場合にのみ、マルチエージェントのディスカッションが単一エージェントよりも優れたパフォーマンスを発揮することがわかります。
さらなる研究により、議論中のLLMの共通の相互作用メカニズムが明らかになりました。

要約(オリジナル)

Recent progress in LLMs discussion suggests that multi-agent discussion improves the reasoning abilities of LLMs. In this work, we reevaluate this claim through systematic experiments, where we propose a novel group discussion framework to enrich the set of discussion mechanisms. Interestingly, our results show that a single-agent LLM with strong prompts can achieve almost the same performance as the best existing discussion approach on a wide range of reasoning tasks and backbone LLMs. We observe that the multi-agent discussion performs better than a single agent only when there is no demonstration in the prompt. Further study reveals the common interaction mechanisms of LLMs during the discussion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google