C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models

要約

大規模言語モデル(LLM)は様々なアプリケーションにおいて素晴らしい能力を発揮するにもかかわらず、幻覚やミスアラインメントといった信頼性の問題に悩まされている。検索補強言語モデル(RAG)は、外部知識を基礎とすることで世代の信頼性を高めるために提案されているが、その生成リスクの理論的理解は未解明のままである。本稿では、以下の点に答える：1)RAGは本当に低い世代リスクにつながるのか、2)RAGとバニラLLMの世代リスクについてどのように証明可能な保証を提供するか、3)RAGモデルが世代リスクを低減することを可能にする十分条件は何か。我々は、RAGモデルの発電リスクを証明する最初のフレームワークであるC-RAGを提案する。具体的には、RAGモデルの適合的リスク分析を提供し、適合的生成リスクと呼ぶ生成リスクの上限信頼区間を証明する。また、テスト分布シフトの下での、一般的な有界リスク関数に対する適合的生成リスクに関する理論的保証を提供する。検索モデルと変換器の品質が自明でない場合、RAGは単一のLLMよりも低い適合生成リスクを達成することを証明する。我々の集中的な実証結果は、4つの最先端の検索モデルにおいて、4つの広く利用されているNLPデータセットにおいて、我々のコンフォーマル生成リスク保証の健全性と厳密性を実証する。

要約(オリジナル)

Despite the impressive capabilities of large language models (LLMs) across diverse applications, they still suffer from trustworthiness issues, such as hallucinations and misalignments. Retrieval-augmented language models (RAG) have been proposed to enhance the credibility of generations by grounding external knowledge, but the theoretical understandings of their generation risks remains unexplored. In this paper, we answer: 1) whether RAG can indeed lead to low generation risks, 2) how to provide provable guarantees on the generation risks of RAG and vanilla LLMs, and 3) what sufficient conditions enable RAG models to reduce generation risks. We propose C-RAG, the first framework to certify generation risks for RAG models. Specifically, we provide conformal risk analysis for RAG models and certify an upper confidence bound of generation risks, which we refer to as conformal generation risk. We also provide theoretical guarantees on conformal generation risks for general bounded risk functions under test distribution shifts. We prove that RAG achieves a lower conformal generation risk than that of a single LLM when the quality of the retrieval model and transformer is non-trivial. Our intensive empirical results demonstrate the soundness and tightness of our conformal generation risk guarantees across four widely-used NLP datasets on four state-of-the-art retrieval models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL