Apollo’s Oracle: Retrieval-Augmented Reasoning in Multi-Agent Debates

要約

マルチエージェント討論システムは、エージェント間の敵対的な対話を通じて正確で一貫した結論を導き出すように設計されています。
しかし、これらのシステムは、(1) エージェントが誤った視点に頑固に固執すること、および (2) エージェントが正しい視点を放棄する傾向として現れる、認知的制約による課題に直面することがよくあります。
これらの問題は、そのような議論が効果的でない主な原因です。
認知的制約の課題に対処するために、我々は新しいフレームワークである Multi-Agent Debate with Retrieval Augmented (MADRA) を導入します。
MADRA は事前知識の検索を議論プロセスに組み込み、認知的制約を効果的に打ち破り、エージェントの推論能力を強化します。
さらに、このフレームワーク内で自己選択モジュールを開発しました。これにより、エージェントが適切な証拠を自律的に選択できるようになり、無関係なデータやノイズの多いデータの影響を最小限に抑えることができます。
私たちは、6 つの多様なデータセットにわたって MADRA を包括的にテストし、分析しました。
実験結果は、私たちのアプローチがさまざまなタスク全体でパフォーマンスを大幅に向上させることを示し、提案した方法の有効性を証明しています。

要約(オリジナル)

Multi-agent debate systems are designed to derive accurate and consistent conclusions through adversarial interactions among agents. However, these systems often encounter challenges due to cognitive constraints, manifesting as (1) agents’ obstinate adherence to incorrect viewpoints and (2) their propensity to abandon correct viewpoints. These issues are primarily responsible for the ineffectiveness of such debates. Addressing the challenge of cognitive constraints, we introduce a novel framework, the Multi-Agent Debate with Retrieval Augmented (MADRA). MADRA incorporates retrieval of prior knowledge into the debate process, effectively breaking cognitive constraints and enhancing the agents’ reasoning capabilities. Furthermore, we have developed a self-selection module within this framework, enabling agents to autonomously select pertinent evidence, thereby minimizing the impact of irrelevant or noisy data. We have comprehensively tested and analyzed MADRA across six diverse datasets. The experimental results demonstrate that our approach significantly enhances performance across various tasks, proving the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google