Enhancing Noise Robustness of Retrieval-Augmented Language Models with Adaptive Adversarial Training

要約

大規模言語モデル (LLM) は、かなりの機能を備えていますが、幻覚、古い知識、追跡できない推論プロセスなどの課題に直面しています。
検索拡張生成 (RAG) は、外部データベースからの知識を統合してこれらの課題を軽減する有望なソリューションとして浮上しています。
ただし、不適切な検索パッセージは、LLM が包括的で高品質な応答を生成する能力を妨げる可能性があります。
検索ノイズの堅牢性に関するこれまでの RAG 研究は、多くの場合、限られた種類のノイズに限定されており、現実世界の検索環境から逸脱し、実用性が制限されていました。
この研究では、まず検索ノイズを調査し、現実世界の環境を反映して 3 つの異なるタイプに分類します。
我々は、これらのさまざまな検索ノイズが LLM の堅牢性に及ぼす影響を分析します。
続いて、検索拡張適応型敵対的トレーニング (RAAT) として知られる新しい RAG アプローチを提案します。
RAAT は、適応型敵対的トレーニングを利用して、取得ノイズに応じてモデルのトレーニング プロセスを動的に調整します。
同時に、マルチタスク学習を採用して、ノイズの多いコンテキストを内部的に認識するモデルの能力を確保します。
広範な実験により、RAAT を使用してトレーニングされた LLaMA-2 7B モデルが、さまざまなノイズ条件下で F1 および EM スコアの大幅な改善を示すことが実証されました。
再現性を高めるために、コードとデータを https://github.com/calubkk/RAAT でリリースします。

要約(オリジナル)

Large Language Models (LLMs) exhibit substantial capabilities yet encounter challenges, including hallucination, outdated knowledge, and untraceable reasoning processes. Retrieval-augmented generation (RAG) has emerged as a promising solution, integrating knowledge from external databases to mitigate these challenges. However, inappropriate retrieved passages can potentially hinder the LLMs’ capacity to generate comprehensive and high-quality responses. Prior RAG studies on the robustness of retrieval noises often confine themselves to a limited set of noise types, deviating from real-world retrieval environments and limiting practical applicability. In this study, we initially investigate retrieval noises and categorize them into three distinct types, reflecting real-world environments. We analyze the impact of these various retrieval noises on the robustness of LLMs. Subsequently, we propose a novel RAG approach known as Retrieval-augmented Adaptive Adversarial Training (RAAT). RAAT leverages adaptive adversarial training to dynamically adjust the model’s training process in response to retrieval noises. Concurrently, it employs multi-task learning to ensure the model’s capacity to internally recognize noisy contexts. Extensive experiments demonstrate that the LLaMA-2 7B model trained using RAAT exhibits significant improvements in F1 and EM scores under diverse noise conditions. For reproducibility, we release our code and data at: https://github.com/calubkk/RAAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google