OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning

要約

このホワイトペーパーでは、従来の情報検索（IR）シナリオとの関連性が検索された生成（RAG）シナリオで一貫性がない可能性があることを分析し、経験的に示します。
このギャップを埋めるために、レトリバーを調整してコンテキスト内の関連性をキャプチャして、多様で進化するニーズへの適応を可能にすることにより、エンドツーエンドで最適化されたRAGフレームワークであるOpenRagを紹介します。
幅広いタスクにわたる広範な実験は、レトリーバーのエンドツーエンドを調整することにより、OpenRagが元のレトリバーよりも4.0％の一貫した改善につながり、既存の最先端のレトリバーを2.1％上回ることを示しています。
さらに、我々の結果は、一部のタスクでは、エンドツーエンドの調整された0.2Bレトリバーが、RAG指向または命令チューニングされた8B大手言語モデル（LLMS）の改善を上回る改善を達成できることを示しており、RAGシステムの強化におけるアプローチの費用対効果を強調しています。

要約(オリジナル)

In this paper, we analyze and empirically show that the learned relevance for conventional information retrieval (IR) scenarios may be inconsistent in retrieval-augmented generation (RAG) scenarios. To bridge this gap, we introduce OpenRAG, a RAG framework that is optimized end-to-end by tuning the retriever to capture in-context relevance, enabling adaptation to the diverse and evolving needs. Extensive experiments across a wide range of tasks demonstrate that OpenRAG, by tuning a retriever end-to-end, leads to a consistent improvement of 4.0% over the original retriever, consistently outperforming existing state-of-the-art retrievers by 2.1%. Additionally, our results indicate that for some tasks, an end-to-end tuned 0.2B retriever can achieve improvements that surpass those of RAG-oriented or instruction-tuned 8B large language models (LLMs), highlighting the cost-effectiveness of our approach in enhancing RAG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google