Retrieval-Augmented Generation as Noisy In-Context Learning: A Unified Theory and Risk Bounds

要約

検索支援型生成（RAG）は、外部知識を用いてLLMを支援することで、近年多くの経験的成功を収めている。しかし、その理論的側面はほとんど未解明のままである。本稿では、文脈内線形回帰におけるRAGの有限サンプル汎化境界を初めて提案し、正確なバイアスと分散のトレードオフを導出する。我々のフレームワークは、検索されたテキストをクエリ依存のノイズの多い文脈内例とみなし、古典的な文脈内学習（ICL）と標準的なRAGを極限ケースとして回復する。我々の分析は、ICLとは対照的に、RAGには汎化誤差の本質的な上限が存在することを示唆している。さらに、我々のフレームワークは、一様なRAGノイズと非一様なRAGノイズを導入することで、学習データからの検索と外部コーパスからの検索の両方をモデル化することができる。我々の理論に沿って、Natural QuestionsやTriviaQAのような一般的なQAベンチマークを用いた実験により、ICLとRAGのサンプル効率を実証的に示す。

要約(オリジナル)

Retrieval-augmented generation (RAG) has seen many empirical successes in recent years by aiding the LLM with external knowledge. However, its theoretical aspect has remained mostly unexplored. In this paper, we propose the first finite-sample generalization bound for RAG in in-context linear regression and derive an exact bias-variance tradeoff. Our framework views the retrieved texts as query-dependent noisy in-context examples and recovers the classical in-context learning (ICL) and standard RAG as the limit cases. Our analysis suggests that an intrinsic ceiling on generalization error exists on RAG as opposed to the ICL. Furthermore, our framework is able to model retrieval both from the training data and from external corpora by introducing uniform and non-uniform RAG noise. In line with our theory, we show the sample efficiency of ICL and RAG empirically with experiments on common QA benchmarks, such as Natural Questions and TriviaQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL