Debate Only When Necessary: Adaptive Multiagent Collaboration for Efficient LLM Reasoning

要約

マルチエージェントコラボレーションは、大規模な言語モデル（LLM）の推論能力を強化するための有望なフレームワークとして浮上しています。
このアプローチは推論能力を改善しますが、反復剤の相互作用のためにかなりの計算オーバーヘッドが発生します。
さらに、コラボレーションを必要としないクエリの議論に従事すると、エラー生成のリスクが増加します。
これらの課題に対処するために、エージェントの最初の対応の信頼性スコアに基づいて議論プロセスを選択的にアクティブ化する適応的なマルチエージェント討論フレームワークである必要な場合にのみ議論を提案します。
討論がトリガーされているクエリの場合、エージェントは参加エージェントと自信スコアからの応答を使用して出力を改良します。
実験結果は、このメカニズムが既存のマルチエージェント討論システムのパフォーマンスを維持または上回りながら、効率を大幅に改善することを示しています。
また、信頼誘導の議論がエラーの伝播を緩和し、信頼できる応答の選択的組み込みを強化することがわかります。
これらの結果は、LLMベースのコラボレーションの実用的な展開を促進し、効率的かつ効果的なマルチエージェント推論の最適化戦略としてダウンしています。

要約(オリジナル)

Multiagent collaboration has emerged as a promising framework for enhancing the reasoning capabilities of large language models (LLMs). While this approach improves reasoning capability, it incurs substantial computational overhead due to iterative agent interactions. Furthermore, engaging in debates for queries that do not necessitate collaboration amplifies the risk of error generation. To address these challenges, we propose Debate Only When Necessary (DOWN), an adaptive multiagent debate framework that selectively activates the debate process based on the confidence score of the agent’s initial response. For queries where debate is triggered, agents refine their outputs using responses from participating agents and their confidence scores. Experimental results demonstrate that this mechanism significantly improves efficiency while maintaining or even surpassing the performance of existing multiagent debate systems. We also find that confidence-guided debate mitigates error propagation and enhances the selective incorporation of reliable responses. These results establish DOWN as an optimization strategy for efficient and effective multiagent reasoning, facilitating the practical deployment of LLM-based collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google