Retrieval-Augmented Generation for Large Language Models: A Survey

要約

大規模言語モデル(LLM)は重要な能力を示すが、幻覚、古い知識、非透明で追跡不可能な推論プロセスなどの課題に直面している。検索補強型生成（RAG）は、外部データベースからの知識を取り入れることで、有望なソリューションとして浮上してきた。これにより、特に知識集約的なタスクにおいてモデルの精度と信頼性が向上し、継続的な知識の更新とドメイン固有の情報の統合が可能になる。RAGは、LLMに内在する知識を、外部データベースの膨大で動的なリポジトリと相乗的に融合させる。この包括的なレビュー論文は、ナイーブRAG、アドバンストRAG、モジュラーRAGを含む、RAGパラダイムの進歩の詳細な検証を提供する。また、RAGフレームワークの三部構成の基盤（検索、生成、拡張技術）を綿密に精査している。本稿では、これらの重要な構成要素それぞれに組み込まれた最先端の技術に焦点を当て、RAGシステムの進歩に関する深い理解を提供する。さらに本稿では、RAGモデルを評価するための指標とベンチマークを、最新の評価フレームワークとともに紹介する。結論として、本論文は、課題の特定、マルチモーダリティの拡大、RAGインフラストラクチャとそのエコシステムの進展を含む、研究のための将来の道を明確にする。

要約(オリジナル)

Large Language Models (LLMs) demonstrate significant capabilities but face challenges such as hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution by incorporating knowledge from external databases. This enhances the accuracy and credibility of the models, particularly for knowledge-intensive tasks, and allows for continuous knowledge updates and integration of domain-specific information. RAG synergistically merges LLMs’ intrinsic knowledge with the vast, dynamic repositories of external databases. This comprehensive review paper offers a detailed examination of the progression of RAG paradigms, encompassing the Naive RAG, the Advanced RAG, and the Modular RAG. It meticulously scrutinizes the tripartite foundation of RAG frameworks, which includes the retrieval , the generation and the augmentation techniques. The paper highlights the state-of-the-art technologies embedded in each of these critical components, providing a profound understanding of the advancements in RAG systems. Furthermore, this paper introduces the metrics and benchmarks for assessing RAG models, along with the most up-to-date evaluation framework. In conclusion, the paper delineates prospective avenues for research, including the identification of challenges, the expansion of multi-modalities, and the progression of the RAG infrastructure and its ecosystem.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL