RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework

要約

検索補強型生成（RAG）システムは、大規模言語モデル（LLM）の幻覚を緩和する利点が実証されている。既存のRAGベンチマークは、主にLLMが一般知識に正しく答えられるかどうかを評価することに焦点を当てている。しかし、これらのベンチマークでは、異なる垂直ドメインのデータを扱う際のRAGシステムの有効性を評価することはできない。本稿では、異なるシナリオにおける異なるLLMの知識利用能力を評価するための評価データセットを自動的に生成するフレームワークであるRAGEvalを紹介する。具体的には、RAGEvalはシード文書からスキーマを要約し、構成を適用して多様な文書を生成し、記事と構成の両方に従って質問と回答のペアを構築する。我々は、LLMによって生成された回答を注意深く評価するために、3つの新しいメトリクス、完全性、幻覚、非関連性を提案する。RAGモデルを垂直ドメインでベンチマークすることで、RAGEvalはLLMの知識利用能力をより適切に評価することができ、既存のQAデータセットにおける、質問に答える際の知識源に関する混乱を避けることができる。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems have demonstrated their advantages in alleviating the hallucination of Large Language Models (LLMs). Existing RAG benchmarks mainly focus on evaluating whether LLMs can correctly answer the general knowledge. However, they are unable to evaluate the effectiveness of the RAG system in dealing with the data from different vertical domains. This paper introduces RAGEval, a framework for automatically generating evaluation datasets to evaluate the knowledge usage ability of different LLMs in different scenarios. Specifically, RAGEval summarizes a schema from seed documents, applies the configurations to generate diverse documents, and constructs question-answering pairs according to both articles and configurations. We propose three novel metrics, Completeness, Hallucination, and Irrelevance, to carefully evaluate the responses generated by LLMs. By benchmarking RAG models in vertical domains, RAGEval has the ability to better evaluate the knowledge usage ability of LLMs, which avoids the confusion regarding the source of knowledge in answering question in existing QA datasets–whether it comes from parameterized memory or retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL