AirRAG: Activating Intrinsic Reasoning for Retrieval Augmented Generation using Tree-based Search

要約

大規模な言語モデル（LLMS）の自律的な意思決定能力を活用することで、推論タスクで優れたパフォーマンスが実証されています。
ただし、反復的または再帰的検索充電（RAG）技術の成功にもかかわらず、これらの方法は、複雑な問題に直面したときに単一のソリューション空間に制約されることがよくあります。
この論文では、システム分析を効率的な推論アクションと統合し、内因性推論機能を大幅に活性化し、AirRagと呼ばれるモンテカルロツリー検索（MCTS）を介して特定のタスクのソリューション空間を拡大するRAGの新しい思考パターンを提案します。
具体的には、私たちのアプローチは、MCTを使用して広い樹木ベースの推論空間に拡張される5つの基本的な推論アクションを設計しています。
このアプローチには、潜在的な推論パスと推論スケーリング法を調査するための自己整合性の検証も組み込まれています。
さらに、重要なアクションにより多くの推論リソースを割り当てるために、計算的に最適な戦略が採用され、それにより全体的なパフォーマンスが向上します。
実験結果は、AirRagの有効性を示しており、複雑な質問データセットで大きなパフォーマンスの向上を示しています。
さらに、AirRagは柔軟で軽量であるため、他の高度な技術と簡単に統合できます。

要約(オリジナル)

Leveraging the autonomous decision-making capabilities of large language models (LLMs) has demonstrated superior performance in reasoning tasks. However, despite the success of iterative or recursive retrieval-augmented generation (RAG) techniques, these methods are often constrained to a single solution space when confronted with complex problems. In this paper, we propose a novel thinking pattern in RAG that integrates system analysis with efficient reasoning actions, significantly activating intrinsic reasoning capabilities and expanding the solution space of specific tasks via Monte Carlo Tree Search (MCTS), which we refer to as AirRAG. Specifically, our approach designs five fundamental reasoning actions, which are expanded to a broad tree-based reasoning space using MCTS. The approach also incorporates self-consistency verification to explore potential reasoning paths and inference scaling law. Additionally, computationally optimal strategies are employed to allocate more inference resources to key actions, thereby enhancing overall performance. Experimental results demonstrate the effectiveness of AirRAG, showing significant performance gains on complex question-answering datasets. Furthermore, AirRAG is flexible and lightweight, making it easy to integrate with other advanced technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google