Retrieval-Augmented Generation for Large Language Models: A Survey

要約

大規模言語モデル (LLM) は重要な機能を実証していますが、幻覚、古い知識、不透明で追跡できない推論プロセスなどの課題に直面しています。
検索拡張生成 (RAG) は、外部データベースからの知識を組み込むことにより、有望なソリューションとして浮上しています。
これにより、特に知識集約型タスクのモデルの精度と信頼性が向上し、継続的な知識の更新とドメイン固有の情報の統合が可能になります。
RAG は、LLM の固有の知識を外部データベースの広大で動的なリポジトリと相乗的に結合します。
この包括的なレビュー ペーパーでは、Naive RAG、Advanced RAG、および Modular RAG を含む、RAG パラダイムの進歩の詳細な調査を提供します。
RAG フレームワークの 3 つの要素からなる基盤 (取得、生成、拡張技術を含む) を細心の注意を払って精査します。
この文書では、これらの重要なコンポーネントのそれぞれに組み込まれた最先端のテクノロジーに焦点を当て、RAG システムの進歩についての深い理解を提供します。
さらに、このペーパーでは、RAG モデルを評価するための指標とベンチマーク、および最新の評価フレームワークを紹介します。
結論として、この論文は、課題の特定、マルチモダリティの拡大、RAG インフラストラクチャとそのエコシステムの進歩など、研究の予想される道筋を概説しています。

要約(オリジナル)

Large Language Models (LLMs) demonstrate significant capabilities but face challenges such as hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution by incorporating knowledge from external databases. This enhances the accuracy and credibility of the models, particularly for knowledge-intensive tasks, and allows for continuous knowledge updates and integration of domain-specific information. RAG synergistically merges LLMs’ intrinsic knowledge with the vast, dynamic repositories of external databases. This comprehensive review paper offers a detailed examination of the progression of RAG paradigms, encompassing the Naive RAG, the Advanced RAG, and the Modular RAG. It meticulously scrutinizes the tripartite foundation of RAG frameworks, which includes the retrieval , the generation and the augmentation techniques. The paper highlights the state-of-the-art technologies embedded in each of these critical components, providing a profound understanding of the advancements in RAG systems. Furthermore, this paper introduces the metrics and benchmarks for assessing RAG models, along with the most up-to-date evaluation framework. In conclusion, the paper delineates prospective avenues for research, including the identification of challenges, the expansion of multi-modalities, and the progression of the RAG infrastructure and its ecosystem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google