MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

要約

長いコンテキストの処理は、大規模な言語モデル（LLMS）にとって重要な課題です。
最近の進歩により、LLMは以前よりもはるかに長いコンテキスト（32Kまたは128Kトークンなど）を処理することができますが、計算的に高価であり、多くのアプリケーションではまだ不十分です。
検索された生成（RAG）は、この問題に対処するための有望な戦略と考えられています。
ただし、従来のRAGメソッドは、2つの根本的な要件のために固有の制限に直面しています。1）明示的に述べられたクエリと2）十分に構造化された知識。
ただし、これらの条件は、一般的に長いコンテキスト処理タスクを保持していません。
この作業では、グローバルメモリの高度検索に力を与えた新しいぼろきれのフレームワークであるメモグを提案します。
メモラグは、デュアルシステムアーキテクチャを備えています。
まず、長いコンテキストのグローバルなメモリを作成するために、軽いが長距離システムを使用します。
タスクが提示されると、ドラフトの回答が生成され、検索ツールが長いコンテキスト内で関連情報を見つけるための有用な手がかりを提供します。
第二に、それは高価であるが表現力豊かなシステムを活用して、取得した情報に基づいて最終的な答えを生成します。
この基本的なフレームワークに基づいて、KV圧縮の形でメモリモジュールを実現し、Generation Qualityのフィードバック（別名RLGF）からの暗記能力を強化します。
私たちの実験では、メモラグは、従来のぼろきれの方法が苦労している複雑なシナリオだけでなく、ラグが通常適用されるよりシンプルなシナリオだけでなく、さまざまな長いコンテスト評価タスクで優れたパフォーマンスを実現します。

要約(オリジナル)

Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality’s Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google