RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects

要約

検索された生成（RAG）は、知識ベースから取得された外部知識を統合することにより、大規模な言語モデル（LLM）を強化します。
ただし、その有効性は、レトリバーとナレッジベースの両方の信頼性によって根本的に制約されています。
実際のシナリオでは、これらのコンポーネントの欠陥は、しばしば騒々しい、無関係、または誤解を招く反事実情報の検索につながり、最終的にはRAGシステムの信頼性を損ないます。
この課題に対処するために、2つのターゲットを絞った微調整タスクを介して検索欠陥に対するLLMの回復力を高めるように設計された方法である堅牢な微調整（RBFT）を提案します。
実験結果は、RBFTが多様な検索条件全体でRAGシステムの堅牢性を大幅に改善し、既存の方法を上回り、他の堅牢性技術との高い推論効率と互換性を維持することを示しています。

要約(オリジナル)

Retrieval-augmented generation (RAG) enhances large language models (LLMs) by integrating external knowledge retrieved from a knowledge base. However, its effectiveness is fundamentally constrained by the reliability of both the retriever and the knowledge base. In real-world scenarios, imperfections in these components often lead to the retrieval of noisy, irrelevant, or misleading counterfactual information, ultimately undermining the trustworthiness of RAG systems. To address this challenge, we propose Robust Fine-Tuning (RbFT), a method designed to enhance the resilience of LLMs against retrieval defects through two targeted fine-tuning tasks. Experimental results demonstrate that RbFT significantly improves the robustness of RAG systems across diverse retrieval conditions, surpassing existing methods while maintaining high inference efficiency and compatibility with other robustness techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google