CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

要約

検索拡張生成 (RAG) は、外部知識ソースを組み込むことによって大規模言語モデル (LLM) の機能を強化する手法です。
この方法は、古い情報や不正確な「幻覚」コンテンツが生成される傾向など、一般的な LLM の制限に対処します。
ただし、既存のベンチマークは範囲と多様性が限られているため、RAG システムの評価は困難です。
現在のベンチマークのほとんどは、主に質問応答アプリケーションを評価しており、RAG が有利であることが判明する可能性のある広範囲の状況を見落としています。
さらに、実験では RAG パイプラインの LLM コンポーネントのパフォーマンスのみを評価し、検索コンポーネントや外部知識データベースの影響を無視しています。
これらの問題に対処するために、このペーパーでは大規模でより包括的なベンチマークを構築し、さまざまな RAG アプリケーション シナリオで RAG システムのすべてのコンポーネントを評価します。
具体的には、RAG アプリケーションの範囲を 4 つの異なるタイプ (作成、読み取り、更新、および削除 (CRUD)) に分類し、それぞれが独自の使用例を表しています。
「作成」とは、オリジナルのさまざまなコンテンツの生成が必要なシナリオを指します。
「読む」には、知識が集中する状況での複雑な質問に答えることが含まれます。
「更新」は、既存のテキストの不正確さや矛盾を改訂および修正することに重点を置いています。
「削除」は、膨大なテキストをより簡潔な形式に要約するタスクに関係します。
これらの CRUD カテゴリごとに、RAG システムのパフォーマンスを評価するための包括的なデータセットを開発しました。
また、取得者、コンテキストの長さ、知識ベースの構築、LLM など、RAG​​ システムのさまざまなコンポーネントの影響も分析します。
最後に、さまざまなシナリオに合わせて RAG テクノロジーを最適化するための有用な洞察を提供します。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) is a technique that enhances the capabilities of large language models (LLMs) by incorporating external knowledge sources. This method addresses common LLM limitations, including outdated information and the tendency to produce inaccurate ‘hallucinated’ content. However, the evaluation of RAG systems is challenging, as existing benchmarks are limited in scope and diversity. Most of the current benchmarks predominantly assess question-answering applications, overlooking the broader spectrum of situations where RAG could prove advantageous. Moreover, they only evaluate the performance of the LLM component of the RAG pipeline in the experiments, and neglect the influence of the retrieval component and the external knowledge database. To address these issues, this paper constructs a large-scale and more comprehensive benchmark, and evaluates all the components of RAG systems in various RAG application scenarios. Specifically, we have categorized the range of RAG applications into four distinct types-Create, Read, Update, and Delete (CRUD), each representing a unique use case. ‘Create’ refers to scenarios requiring the generation of original, varied content. ‘Read’ involves responding to intricate questions in knowledge-intensive situations. ‘Update’ focuses on revising and rectifying inaccuracies or inconsistencies in pre-existing texts. ‘Delete’ pertains to the task of summarizing extensive texts into more concise forms. For each of these CRUD categories, we have developed comprehensive datasets to evaluate the performance of RAG systems. We also analyze the effects of various components of the RAG system, such as the retriever, the context length, the knowledge base construction, and the LLM. Finally, we provide useful insights for optimizing the RAG technology for different scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google