PermitQA: A Benchmark for Retrieval Augmented Generation in Wind Siting and Permitting domain

要約

自然言語処理 (NLP) とテキスト生成の急速に進化する状況において、検索拡張生成 (RAG) の出現は、ユーザー指定のデータベースから取得した情報を活用して、生成されるテキストの品質と信頼性を向上させるための有望な手段を提示します。
ベンチマークは、取得者とジェネレーターの観点からさまざまな RAG 構成のパフォーマンスを評価および比較するために不可欠であり、その有効性、拡張性、および特定のドメインとアプリケーションへの適合性についての洞察を提供します。
このペーパーでは、ドメイン関連の RAG ベンチマークを生成するための包括的なフレームワークを紹介します。
私たちのフレームワークは、人間 (ドメイン専門家) と AI 大規模言語モデル (LLM) のチーム化による質問と回答の自動生成に基づいています。
ケーススタディとして、風力発電プロジェクトの環境への影響に関する複数の科学文書/レポートで構成される、風力発電の立地および許可領域に関するこの種初のベンチマークである PermitQA を紹介することで、フレームワークを実証します。
私たちのフレームワークは、多様なメトリクスとさまざまな複雑さレベルの複数の質問タイプを使用して、RAG パフォーマンスを体系的に評価します。
また、ベンチマークでさまざまなモデルのパフォーマンスも実証しています。

要約(オリジナル)

In the rapidly evolving landscape of Natural Language Processing (NLP) and text generation, the emergence of Retrieval Augmented Generation (RAG) presents a promising avenue for improving the quality and reliability of generated text by leveraging information retrieved from user specified database. Benchmarking is essential to evaluate and compare the performance of the different RAG configurations in terms of retriever and generator, providing insights into their effectiveness, scalability, and suitability for the specific domain and applications. In this paper, we present a comprehensive framework to generate a domain relevant RAG benchmark. Our framework is based on automatic question-answer generation with Human (domain experts)-AI Large Language Model (LLM) teaming. As a case study, we demonstrate the framework by introducing PermitQA, a first-of-its-kind benchmark on the wind siting and permitting domain which comprises of multiple scientific documents/reports related to environmental impact of wind energy projects. Our framework systematically evaluates RAG performance using diverse metrics and multiple question types with varying complexity level. We also demonstrate the performance of different models on our benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google