EnronQA: Towards Personalized RAG over Private Documents

要約

検索拡張生成（RAG）は、微調整に関連するコストまたはデータの漏れリスクなしに推論時間にローカルコンテキストをもたらす能力により、知識集約型コンテキストを大規模な言語モデル（LLM）にもたらすための最も一般的な方法の1つになりました。
LLMトレーニングから個人情報を明確に分離することで、多くのエンタープライズLLMワークロードの基礎となり、顧客のプライベートドキュメントを使用してLLMの理解を深めることができます。
エンタープライズの展開におけるプライベートドキュメントの人気にもかかわらず、RAGパイプラインを検証および最適化するための現在のラグベンチマークは、WikipediaやGeneric Webページなどの公開データからコーパスを引き出し、個人的なコンテキストをほとんど提供しません。
より個人的およびプライベートなぼろきれを強化しようとするEnronqaベンチマークをリリースします。これは、150種類のユーザーインボックスにわたって528,304の質問回答ペアを含む103,638メールのデータセットです。
EnronQAは、プライベートデータよりもRAGパイプラインのベンチマークを改善し、現実的なデータよりもパーソナライズされた検索設定の導入に関する実験を可能にします。
最後に、Enronqaを使用して、個人文書を推論する際に、暗記と検索のトレードオフを調査します。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has become one of the most popular methods for bringing knowledge-intensive context to large language models (LLM) because of its ability to bring local context at inference time without the cost or data leakage risks associated with fine-tuning. A clear separation of private information from the LLM training has made RAG the basis for many enterprise LLM workloads as it allows the company to augment LLM’s understanding using customers’ private documents. Despite its popularity for private documents in enterprise deployments, current RAG benchmarks for validating and optimizing RAG pipelines draw their corpora from public data such as Wikipedia or generic web pages and offer little to no personal context. Seeking to empower more personal and private RAG we release the EnronQA benchmark, a dataset of 103,638 emails with 528,304 question-answer pairs across 150 different user inboxes. EnronQA enables better benchmarking of RAG pipelines over private data and allows for experimentation on the introduction of personalized retrieval settings over realistic data. Finally, we use EnronQA to explore the tradeoff in memorization and retrieval when reasoning over private documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google