Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation

要約

さまざまなNLPタスクにおける大規模な言語モデル（LLM）の顕著な能力にもかかわらず、パラメトリックな知識が限られており、ドメイン固有の専門知識がないため、幻覚に対して脆弱なままです。
検索された生成（RAG）は、LLMSの知識ベースを強化するために外部ドキュメント検索を組み込むことにより、この課題に対処します。
このアプローチでは、RAGはクエリに応じて外部コーパスからドキュメントチャンクを取得します。クエリは、ダウンストリーム言語モデルのコンテキストとして使用されて回答を生成します。
ただし、これらの検索された知識源には、多くの場合、無関係または誤った情報が含まれており、下流タスクにおけるRAGの有効性を損なうことが含まれます。
この制限を克服するために、ジェネレーターに供給する前に外部の知識ソースを改良するように設計されたコンパクトで効率的でプラグ可能なモジュールを導入します。
モジュールは、最も関連性が高くサポート的な情報を抽出し、簡潔なクエリ固有の形式に再編成することにより、取得したコンテンツを再構築します。
3段階のトレーニングパラダイム – 監視された微調整、対照的なマルチタスク学習、および強化学習ベースのアライメントを含む – は、重要な知識を優先し、発電機の好みに合わせます。
この方法により、LLMはより正確で信頼性が高く、文脈的に適切な出力を生成できます。

要約(オリジナル)

Despite the remarkable capabilities of Large Language Models (LLMs) in various NLP tasks, they remain vulnerable to hallucinations due to their limited parametric knowledge and lack of domain-specific expertise. Retrieval-Augmented Generation (RAG) addresses this challenge by incorporating external document retrieval to augment the knowledge base of LLMs. In this approach, RAG retrieves document chunks from an external corpus in response to a query, which are then used as context for the downstream language model to generate an answer. However, these retrieved knowledge sources often include irrelevant or erroneous information, undermining the effectiveness of RAG in downstream tasks. To overcome this limitation, we introduce a compact, efficient, and pluggable module designed to refine external knowledge sources before feeding them to the generator. The module reconstructs retrieved content by extracting the most relevant and supportive information and reorganising it into a concise, query-specific format. Through a three-stage training paradigm – comprising supervised fine-tuning, contrastive multi-task learning, and reinforcement learning-based alignment – it prioritises critical knowledge and aligns it with the generator’s preferences. This method enables LLMs to produce outputs that are more accurate, reliable, and contextually appropriate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google