Enhancing LLM Reasoning with Multi-Path Collaborative Reactive and Reflection agents

要約

エージェントは、大規模な言語モデルを通じて、科学的推論タスクにおいてその可能性を示してきた。しかし、複雑な推論タスクを処理する際に、不十分な精度や思考の退化といった課題にしばしば直面し、その性能を阻害している。これらの問題を克服するために、我々は、LLMの推論能力を強化することを目的としたマルチパス推論（RR-MP）フレームワークを提案する。我々のアプローチは、マルチパス推論メカニズムを採用することで、科学的推論の精度を向上させる。各パスは、単一エージェント依存に特有の思考の退化を防ぐために協力する反応エージェントと反射エージェントで構成される。さらに、RR-MPフレームワークは追加の訓練を必要とせず、推論パスごとに複数の対話インスタンスを利用し、すべてのパスからの洞察を統合するために別の要約器を利用する。この設計により、多様な視点が統合され、各パスの推論が強化される。我々は、道徳的シナリオ、大学レベルの物理学、数学を含むタスクについて、ゼロショットと数ショットの評価を行った。実験結果は、我々の方法がベースラインアプローチを上回ることを実証し、複雑な科学的推論タスクを管理するRR-MPフレームワークの有効性と利点を強調した。

要約(オリジナル)

Agents have demonstrated their potential in scientific reasoning tasks through large language models. However, they often face challenges such as insufficient accuracy and degeneration of thought when handling complex reasoning tasks, which impede their performance. To overcome these issues, we propose the Reactive and Reflection agents with Multi-Path Reasoning (RR-MP) Framework, aimed at enhancing the reasoning capabilities of LLMs. Our approach improves scientific reasoning accuracy by employing a multi-path reasoning mechanism where each path consists of a reactive agent and a reflection agent that collaborate to prevent degeneration of thought inherent in single-agent reliance. Additionally, the RR-MP framework does not require additional training; it utilizes multiple dialogue instances for each reasoning path and a separate summarizer to consolidate insights from all paths. This design integrates diverse perspectives and strengthens reasoning across each path. We conducted zero-shot and few-shot evaluations on tasks involving moral scenarios, college-level physics, and mathematics. Experimental results demonstrate that our method outperforms baseline approaches, highlighting the effectiveness and advantages of the RR-MP framework in managing complex scientific reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL