HoH: A Dynamic Benchmark for Evaluating the Impact of Outdated Information on Retrieval-Augmented Generation

要約

検索された生成（RAG）は、大規模な言語モデル（LLM）の知識の外部問題に対処するための効果的なアプローチとして浮上していますが、それは依然として重要な課題に直面しています。知識ベースの時代遅れの情報の有病率です。
現在の研究は主に最新の情報を組み込むことに焦点を当てていますが、検索ソースに共存する時代遅れの情報の影響は不十分に対処されたままです。
このギャップを埋めるために、ragに対する時代遅れの情報の影響を評価するために特別に設計された最初のベンチマークであるHOHを紹介します。
当社のベンチマークは、LLMパイプラインと組み合わせたトークンレベルのDiffアルゴリズムを活用して、実際の事実における時間的知識の進化を正確にキャプチャする大規模なQAデータセットを効率的に作成します。
包括的な実験を通じて、時代遅れの情報が2つの重要な方法でRAGパフォーマンスを大幅に低下させることを明らかにします。（1）モデルを正しい情報からそらすことで応答の精度を大幅に削減し、（2）現在の情報が利用可能であっても、潜在的に有害な出力を生成するためにモデルを誤解させることができます。
現在のRAGアプローチは、時代遅れの情報を処理する際に、検索の側面と生成の両方の側面に苦労しています。
これらの調査結果は、ぼろぼろの時間的課題に対処するための革新的なソリューションの緊急の必要性を強調しています。
コードとデータは、https：//github.com/0russwest0/hohで入手できます。

要約(オリジナル)

While Retrieval-Augmented Generation (RAG) has emerged as an effective approach for addressing the knowledge outdating problem in Large Language Models (LLMs), it still faces a critical challenge: the prevalence of outdated information in knowledge bases. Current research primarily focuses on incorporating up-to-date information, yet the impact of outdated information coexisting in retrieval sources remains inadequately addressed. To bridge this gap, we introduce HoH, the first benchmark specifically designed to evaluate the impact of outdated information on RAG. Our benchmark leverages token-level diff algorithms combined with LLM pipelines to efficiently create a large-scale QA dataset that accurately captures the evolution of temporal knowledge in real-world facts. Through comprehensive experiments, we reveal that outdated information significantly degrades RAG performance in two critical ways: (1) it substantially reduces response accuracy by distracting models from correct information, and (2) it can mislead models into generating potentially harmful outputs, even when current information is available. Current RAG approaches struggle with both retrieval and generation aspects when handling outdated information. These findings highlight the urgent need for innovative solutions to address the temporal challenges in RAG. Our code and data are available at: https://github.com/0russwest0/HoH.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google