S$^2$-MAD: Breaking the Token Barrier to Enhance Multi-Agent Debate Efficiency

要約

大規模な言語モデル（LLMS）は、さまざまな自然言語処理（NLP）シナリオにわたって顕著な機能を実証していますが、複雑な算術および論理的推論タスクを処理する際には依然として課題に直面しています。
チェーンオブ考え（COT）の推論、自己整合性（SC）および自己修正戦略は、モデルを連続的でマルチステップの推論でガイドしようとしました。
LLMSの推論機能。
エージェントの数と議論の頻度の両方を増やすことにより、LLMSのパフォーマンスが大幅に向上します。
ただし、この戦略により、トークンコストが大幅に増加し、スケーラビリティに対する障壁を提示します。
この課題に対処するために、MAD内のトークンコストを削減するために設計された新しいスパース化戦略を紹介します。
このアプローチは、エージェント間の情報と非生産的な議論の効果的な交換を最小限に抑え、それにより議論プロセスの全体的な効率を高めます。
私たちは、さまざまなモデルの複数のデータセットで比較実験を実施し、私たちのアプローチがMADのトークンコストを大幅に削減することを実証しています。
具体的には、MADと比較して、私たちのアプローチは、2.0 \％未満のパフォーマンスの劣化を維持しながら、トークンコストで最大94.5％の印象的な削減を達成します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities across various natural language processing (NLP) scenarios, but they still face challenges when handling complex arithmetic and logical reasoning tasks. While Chain-Of-Thought (CoT) reasoning, self-consistency (SC) and self-correction strategies have attempted to guide models in sequential, multi-step reasoning, Multi-agent Debate (MAD) has emerged as a viable approach for enhancing the reasoning capabilities of LLMs. By increasing both the number of agents and the frequency of debates, the performance of LLMs improves significantly. However, this strategy results in a significant increase in token costs, presenting a barrier to scalability. To address this challenge, we introduce a novel sparsification strategy designed to reduce token costs within MAD. This approach minimizes ineffective exchanges of information and unproductive discussions among agents, thereby enhancing the overall efficiency of the debate process. We conduct comparative experiments on multiple datasets across various models, demonstrating that our approach significantly reduces the token costs in MAD to a considerable extent. Specifically, compared to MAD, our approach achieves an impressive reduction of up to 94.5\% in token costs while maintaining performance degradation below 2.0\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google