A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models

要約

AI の最も高度な技術の 1 つである検索拡張生成 (RAG) は、信頼性の高い最新の外部知識を提供し、多数のタスクに大きな利便性をもたらします。
特に AI 生成コンテンツ (AIGC) の時代では、追加の知識を提供する強力な検索能力により、RAG は既存の生成 AI による高品質の出力の生成を支援できます。
最近、大規模言語モデル (LLM) は、言語の理解と生成において革新的な能力を実証しましたが、依然として幻覚や古い内部知識などの固有の制限に直面しています。
最新の有用な補助情報を提供する RAG の強力な機能を考慮して、モデルの内部知識のみに依存するのではなく、外部の信頼できる知識ベースを利用して、世代を拡張する検索拡張大規模言語モデル (RA-LLM) が登場しました。
LLM の品質。
この調査では、RA-LLM に関する既存の調査研究を包括的にレビューし、アーキテクチャ、トレーニング戦略、アプリケーションという 3 つの主要な技術的観点をカバーします。
予備知識として、LLM の基礎と最近の進歩について簡単に紹介します。
次に、LLM にとっての RAG の実際的な重要性を説明するために、アーキテクチャ、トレーニング戦略、アプリケーション分野ごとに主流の関連作業を系統的にレビューし、それぞれの課題とそれに対応する RA-LLM の機能を具体的に詳しく説明します。
最後に、より深い洞察を提供するために、現在の限界と将来の研究のいくつかの有望な方向性について説明します。
この調査に関する最新情報は、https://advanced-recommender-systems.github.io/RAG-Meets-LLMs/ でご覧いただけます。

要約(オリジナル)

As one of the most advanced techniques in AI, Retrieval-Augmented Generation (RAG) can offer reliable and up-to-date external knowledge, providing huge convenience for numerous tasks. Particularly in the era of AI-Generated Content (AIGC), the powerful capacity of retrieval in providing additional knowledge enables RAG to assist existing generative AI in producing high-quality outputs. Recently, Large Language Models (LLMs) have demonstrated revolutionary abilities in language understanding and generation, while still facing inherent limitations, such as hallucinations and out-of-date internal knowledge. Given the powerful abilities of RAG in providing the latest and helpful auxiliary information, Retrieval-Augmented Large Language Models (RA-LLMs) have emerged to harness external and authoritative knowledge bases, rather than solely relying on the model’s internal knowledge, to augment the generation quality of LLMs. In this survey, we comprehensively review existing research studies in RA-LLMs, covering three primary technical perspectives: architectures, training strategies, and applications. As the preliminary knowledge, we briefly introduce the foundations and recent advances of LLMs. Then, to illustrate the practical significance of RAG for LLMs, we systematically review mainstream relevant work by their architectures, training strategies, and application areas, detailing specifically the challenges of each and the corresponding capabilities of RA-LLMs. Finally, to deliver deeper insights, we discuss current limitations and several promising directions for future research. Updated information about this survey can be found at https://advanced-recommender-systems.github.io/RAG-Meets-LLMs/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google