Retrieval-Augmented Generation for Large Language Models: A Survey

要約

大規模言語モデル (LLM) は重要な機能を実証していますが、幻覚、古い知識、不透明で追跡できない推論プロセスなどの課題に直面しています。
Augmented Generation (RAG) は、外部データベースからのリアルタイム データを LLM 応答に組み込むことにより、これらの問題に対する有望なソリューションとして浮上しました。
これにより、特に知識集約型タスクのモデルの精度と信頼性が向上し、継続的な知識の更新とドメイン固有の情報の統合が可能になります。
RAG は、LLM の固有の知識を外部データベースの広大で動的なリポジトリと相乗的に結合します。
この調査ペーパーでは、Naive RAG、Advanced RAG、Modular RAG という 3 つの主要なパラダイムに焦点を当て、RAG の進化を詳細に分析しています。
RAG システムの 3 つの基本コンポーネント、レトリーバー、ジェネレーター、および拡張方法を系統的に検証し、各コンポーネント内の最先端のテクノロジーを強調します。
さらに、このペーパーでは、RAG モデルを評価するための新しいメトリクスと機能、および最新の評価フレームワークについても紹介します。
最後に、この論文では、将来の課題、モダリティの拡張、RAG 技術スタックとエコシステムの開発という 3 つの観点から将来の研究の方向性を概説しています。

要約(オリジナル)

Large Language Models (LLMs) demonstrate significant capabilities but face challenges such as hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Augmented Generation (RAG) has emerged as a promising solution to these issues by incorporating real-time data from external databases into LLM responses. This enhances the accuracy and credibility of the models, particularly for knowledge-intensive tasks, and allows for continuous knowledge updates and integration of domain-specific information. RAG synergistically merges LLMs’ intrinsic knowledge with the vast, dynamic repositories of external databases. This survey paper provides an in-depth analysis of the evolution of RAG, focusing on three key paradigms: Naive RAG, Advanced RAG, and Modular RAG. It methodically examines the three fundamental components of RAG systems: the retriever, the generator, and the augmentation methods, underscoring the cutting-edge technologies within each componenet. Additionally, the paper introduces novel metrics and capabilities for evaluating RAG models, as well as the most recent evaluation framework. Finally, the paper outlines future research directions from three perspectives: future challenges,modality extension,and the development of the RAG technical stack and ecosystem

arxiv情報

提供元, 利用サービス

arxiv.jp, Google