XRAG: eXamining the Core — Benchmarking Foundational Components in Advanced Retrieval-Augmented Generation

要約

検索拡張生成 (RAG) は、関連データの検索と大規模言語モデル (LLM) の生成機能を相乗して、生成された出力が文脈的に適切であるだけでなく、正確かつ最新であることを保証します。
XRAG は、高度な RAG モジュールの基本コンポーネントのパフォーマンスの徹底的な評価を容易にするオープンソースのモジュラー コードベースです。
これらのコンポーネントは体系的に、取得前、取得、取得後、生成の 4 つの中核フェーズに分類されます。
私たちは再構成されたデータセット全体でそれらを体系的に分析し、その有効性についての包括的なベンチマークを提供します。
RAG システムの複雑さはますますエスカレートし続けるため、RAG システムの潜在的な障害点を特定することが重要であることを強調します。
私たちは、RAG エンジニアリングに固有の障害点を詳細に分析するために、一連の実験方法論と診断テスト プロトコルを策定します。
その後、これらのモジュールの全体的なパフォーマンスを強化することを目的としたオーダーメイドのソリューションを提供します。
私たちの取り組みでは、RAG システムの高度なコア コンポーネントのパフォーマンスを徹底的に評価し、一般的な障害ポイントの最適化に関する洞察を提供します。

要約(オリジナル)

Retrieval-augmented generation (RAG) synergizes the retrieval of pertinent data with the generative capabilities of Large Language Models (LLMs), ensuring that the generated output is not only contextually relevant but also accurate and current. We introduce XRAG, an open-source, modular codebase that facilitates exhaustive evaluation of the performance of foundational components of advanced RAG modules. These components are systematically categorized into four core phases: pre-retrieval, retrieval, post-retrieval, and generation. We systematically analyse them across reconfigured datasets, providing a comprehensive benchmark for their effectiveness. As the complexity of RAG systems continues to escalate, we underscore the critical need to identify potential failure points in RAG systems. We formulate a suite of experimental methodologies and diagnostic testing protocols to dissect the failure points inherent in RAG engineering. Subsequently, we proffer bespoke solutions aimed at bolstering the overall performance of these modules. Our work thoroughly evaluates the performance of advanced core components in RAG systems, providing insights into optimizations for prevalent failure points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google