RAG-Gym: Optimizing Reasoning and Search Agents with Process Supervision

要約

検索された生成（RAG）は、知識集約型のタスクの大きな可能性を示していますが、その従来のアーキテクチャは静的検索に依存しており、連続した情報を求める必要がある複雑な質問に対する有効性を制限しています。
エージェントの推論と検索はより適応的なアプローチを提供しますが、ほとんどの既存の方法は迅速なエンジニアリングに大きく依存しています。
この作業では、各検索ステップで微調整されたプロセス監督を通じて情報を求めるエージェントを強化する統一された最適化フレームワークであるRag-Gymを紹介します。
また、Rag-Gymフレームワーク内の回答推論と検索クエリの生成を相乗化する新しいエージェントアーキテクチャである研究を提案します。
4つの挑戦的なデータセットでの実験は、Rag-Gymがさまざまなエージェントアーキテクチャで最大25.6 \％のパフォーマンスを改善し、既存のベースラインを一貫して優先する研究を示しています。
さらなる分析では、プロセス報酬裁判官としての高度なLLMの有効性と、異なるLLMの検証因子としての訓練された報酬モデルの移転性を強調しています。
さらに、エージェントラグのトレーニングと推論のスケーリング特性を調べます。
プロジェクトホームページは、https：//rag-gym.github.io/で入手できます。

要約(オリジナル)

Retrieval-augmented generation (RAG) has shown great potential for knowledge-intensive tasks, but its traditional architectures rely on static retrieval, limiting their effectiveness for complex questions that require sequential information-seeking. While agentic reasoning and search offer a more adaptive approach, most existing methods depend heavily on prompt engineering. In this work, we introduce RAG-Gym, a unified optimization framework that enhances information-seeking agents through fine-grained process supervision at each search step. We also propose ReSearch, a novel agent architecture that synergizes answer reasoning and search query generation within the RAG-Gym framework. Experiments on four challenging datasets show that RAG-Gym improves performance by up to 25.6\% across various agent architectures, with ReSearch consistently outperforming existing baselines. Further analysis highlights the effectiveness of advanced LLMs as process reward judges and the transferability of trained reward models as verifiers for different LLMs. Additionally, we examine the scaling properties of training and inference in agentic RAG. The project homepage is available at https://rag-gym.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google