MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

要約

検索拡張生成 (RAG) は、検索ツールを活用して外部データベースにアクセスし、最適化されたコンテキストを通じて大規模言語モデル (LLM) の生成品質を向上させます。
ただし、既存の検索方法は本質的に制約があり、明示的に指定されたクエリと整形式の知識の間の関連性マッチングのみを実行できますが、あいまいな情報ニーズや構造化されていない知識を含むタスクを処理することはできません。
したがって、既存の RAG システムは主に単純な質問応答タスクに効果的です。
この研究では、長期記憶によって強化された新しい検索拡張生成パラダイムである MemoRAG を提案します。
MemoRAGはデュアルシステムアーキテクチャを採用しています。
一方で、軽量だが長距離の LLM を採用してデータベースのグローバル メモリを形成します。
タスクが提示されると、回答の下書きが生成され、検索ツールがデータベース内で有用な情報を見つける手がかりになります。
一方で、高価ではあるが表現力豊かな LLM を活用し、取得した情報に基づいて最終的な答えを生成します。
この一般的なフレームワークに基づいて、MemoRAG の手がかりメカニズムと記憶能力を強化することで、MemoRAG のパフォーマンスをさらに最適化します。
私たちの実験では、MemoRAG は、従来の RAG が失敗する複雑な評価タスクと、RAG が一般的に適用される単純な評価タスクの両方を含む、さまざまな評価タスクにわたって優れたパフォーマンスを達成しました。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG’s performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google