RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

要約

大規模言語モデル (LLM) は自然言語処理 (NLP) の大幅な進歩を促進しましたが、幻覚やドメイン固有の知識の必要性などの課題に直面しています。
これらを軽減するために、最近の方法論では外部リソースから取得した情報を LLM と統合し、NLP タスク全体のパフォーマンスを大幅に向上させています。
この調査報告書は、検索拡張言語モデル (RALM)、検索拡張生成 (RAG) と検索拡張理解 (RAU) の両方に関する包括的な概要が存在しないことに対処し、そのパラダイム、進化、分類の詳細な調査を提供します。
、およびアプリケーション。
この論文では、レトリバー、言語モデル、拡張を含む RALM の重要なコンポーネントと、それらの相互作用がどのように多様なモデル構造とアプリケーションにつながるかについて説明します。
RALM は、翻訳や対話システムから知識集約型アプリケーションに至るまで、さまざまなタスクで有用性を実証します。
この調査には、RALM のいくつかの評価方法が含まれており、評価における堅牢性、正確性、および関連性の重要性が強調されています。
また、特に検索品質と計算効率における RALM の限界も認めており、今後の研究の方向性を示しています。
結論として、この調査は、RALM、その可能性、そして NLP における将来の開発への道筋について構造化された洞察を提供することを目的としています。
この論文には、調査対象の作品とさらなる研究のためのリソースを含む Github リポジトリが補足されています: https://github.com/2471023025/RALM_Survey。

要約(オリジナル)

Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: https://github.com/2471023025/RALM_Survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google