Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models

要約

検索拡張生成 (RAG) は、外部の知識を統合して大規模言語モデル (LLM) の制限に対処するのには効果的ですが、不完全な検索によって損なわれる可能性があり、無関係な情報、誤解を招く情報、さらには悪意のある情報が混入する可能性があります。
その重要性にもかかわらず、これまでの研究では、不完全な検索によるエラーがどのように特定され伝播するか、LLM の内部知識と外部ソースの間で潜在的な競合がどのように発生するかについて共同分析を通じて RAG の動作を調査することはほとんどありませんでした。
現実的な条件下での制御された分析を通じて、不完全な検索拡張は避けられず、非常に有害である可能性があることがわかりました。
我々は、RAG の検索後の段階で克服すべきボトルネックとして、検索による LLM の内部知識と外部知識の間の知識の競合を特定しました。
LLM に不完全な検索に対する耐性を持たせるために、LLM の内部知識から重要な情報を適応的に引き出し、ソースを意識して内部および外部の知識を繰り返し統合し、情報の信頼性に応じて答えを最終決定する新しい RAG アプローチである Astute RAG を提案します。
Gemini と Claude を使用した実験では、Astute RAG が以前の堅牢性を強化した RAG 手法よりも大幅に優れていることが実証されました。
特に、Astute RAG は、最悪のシナリオで RAG を使用しない LLM のパフォーマンスと同等またはそれを超える唯一のアプローチです。
さらなる分析により、Astute RAG が知識の競合を効果的に解決し、RAG システムの信頼性と信頼性を向上させることが明らかになりました。

要約(オリジナル)

Retrieval-Augmented Generation (RAG), while effective in integrating external knowledge to address the limitations of large language models (LLMs), can be undermined by imperfect retrieval, which may introduce irrelevant, misleading, or even malicious information. Despite its importance, previous studies have rarely explored the behavior of RAG through joint analysis on how errors from imperfect retrieval attribute and propagate, and how potential conflicts arise between the LLMs’ internal knowledge and external sources. We find that imperfect retrieval augmentation might be inevitable and quite harmful, through controlled analysis under realistic conditions. We identify the knowledge conflicts between LLM-internal and external knowledge from retrieval as a bottleneck to overcome in the post-retrieval stage of RAG. To render LLMs resilient to imperfect retrieval, we propose Astute RAG, a novel RAG approach that adaptively elicits essential information from LLMs’ internal knowledge, iteratively consolidates internal and external knowledge with source-awareness, and finalizes the answer according to information reliability. Our experiments using Gemini and Claude demonstrate that Astute RAG significantly outperforms previous robustness-enhanced RAG methods. Notably, Astute RAG is the only approach that matches or exceeds the performance of LLMs without RAG under worst-case scenarios. Further analysis reveals that Astute RAG effectively resolves knowledge conflicts, improving the reliability and trustworthiness of RAG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google