Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG

要約

検索された生成（RAG）は、ドメインの知識を大規模な言語モデル（LLM）に組み込むための顕著な方法として浮上しています。
RAGは、コンテキストに検索されたドメインの知識を組み込むことにより応答の関連性を高めますが、検索エラーは幻覚と誤った答えにつながる可能性があります。
レトリーバーの障害から回復するために、検索エラーの場合でも、モデルを微調整して正しい応答を生成することにより、ドメインの知識が注入されます。
ただし、体系的な知識の増強がなければ、微調整されたLLMは新しい情報を記憶するかもしれませんが、関連するドメインの知識を抽出できず、パフォーマンスが低下することがわかります。
この作業では、トレーニングデータを2つの方法で拡張することにより、微調整プロセスを大幅に強化する新しいフレームワークを提示します – コンテキストの増強と知識の言い換え。
コンテキストの増強では、検索された情報の関連性を変化させて、特定のQAペアの複数のトレーニングサンプルを作成し、モデルにいつ無視するか、いつ回収されたコンテンツに依存するかを教えます。
知識の言い換えでは、同じ質問に対する複数の回答で微調整され、LLMが専門的な知識をよりよく内在化できるようにします。
微調整による壊滅的な忘却を緩和するために、質問にドメイン固有の識別子を追加し、一般的なQAペアを含むリプレイバッファーも利用します。
実験結果は、LLMの一般化能力を維持しながら、トークンレベルのリコールで最大10 \％の相対的なゲインを達成し、既存の手法に対する方法の有効性を示しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has emerged as a prominent method for incorporating domain knowledge into Large Language Models (LLMs). While RAG enhances response relevance by incorporating retrieved domain knowledge in the context, retrieval errors can still lead to hallucinations and incorrect answers. To recover from retriever failures, domain knowledge is injected by fine-tuning the model to generate the correct response, even in the case of retrieval errors. However, we observe that without systematic knowledge augmentation, fine-tuned LLMs may memorize new information but still fail to extract relevant domain knowledge, leading to poor performance. In this work, we present a novel framework that significantly enhances the fine-tuning process by augmenting the training data in two ways — context augmentation and knowledge paraphrasing. In context augmentation, we create multiple training samples for a given QA pair by varying the relevance of the retrieved information, teaching the model when to ignore and when to rely on retrieved content. In knowledge paraphrasing, we fine-tune with multiple answers to the same question, enabling LLMs to better internalize specialized knowledge. To mitigate catastrophic forgetting due to fine-tuning, we add a domain-specific identifier to a question and also utilize a replay buffer containing general QA pairs. Experimental results demonstrate the efficacy of our method over existing techniques, achieving up to 10\% relative gain in token-level recall while preserving the LLM’s generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google