A System for Comprehensive Assessment of RAG Frameworks

要約

検索メカニズムを統合することにより、大規模な言語モデル（LLMS）の事実上の精度と文脈的関連性を高めるための標準的なパラダイムとして、検索拡張生成（RAG）が浮上しています。
ただし、既存の評価フレームワークは、特に実際の展開シナリオで、RAGシステムを評価するための全体的なブラックボックスアプローチを提供できません。
このギャップに対処するために、展開されたRAGアプリケーションを体系的にベンチマークするように設計されたモジュール式で柔軟な評価フレームワークであるScarf（RAGフレームワークの包括的な評価のシステム）を紹介します。
Scarfは、エンドツーエンドのブラックボックス評価方法を提供し、多様なぼろきれフレームワーク間で限定的なエフォルト比較を可能にします。
当社のフレームワークは、複数の展開構成をサポートし、ベクトルデータベースとLLMサービング戦略を介した自動テストを容易にし、詳細なパフォーマンスレポートを作成します。
さらに、Scarfは、Response Coherenceなどの実用的な考慮事項を統合し、RAGアプリケーションを評価する研究者や業界の専門家にスケーラブルで適応性のあるソリューションを提供します。
REST APIインターフェイスを使用して、スカーフを実際のシナリオに適用する方法を示し、さまざまなRAGフレームワークと構成を評価する柔軟性を示します。
ScarfはGitHubリポジトリで入手できます。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has emerged as a standard paradigm for enhancing the factual accuracy and contextual relevance of Large Language Models (LLMs) by integrating retrieval mechanisms. However, existing evaluation frameworks fail to provide a holistic black-box approach to assessing RAG systems, especially in real-world deployment scenarios. To address this gap, we introduce SCARF (System for Comprehensive Assessment of RAG Frameworks), a modular and flexible evaluation framework designed to benchmark deployed RAG applications systematically. SCARF provides an end-to-end, black-box evaluation methodology, enabling a limited-effort comparison across diverse RAG frameworks. Our framework supports multiple deployment configurations and facilitates automated testing across vector databases and LLM serving strategies, producing a detailed performance report. Moreover, SCARF integrates practical considerations such as response coherence, providing a scalable and adaptable solution for researchers and industry professionals evaluating RAG applications. Using the REST APIs interface, we demonstrate how SCARF can be applied to real-world scenarios, showcasing its flexibility in assessing different RAG frameworks and configurations. SCARF is available at GitHub repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google