KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?

要約

検索された生成（RAG）システムは、K-12教育ドメインの質問回答ツールとして顕著な可能性を示します。ここでは、知識は通常、権威ある教科書の制限された範囲内で照会されます。
ただし、これらの教科書と大規模な言語モデル（LLM）に固有のパラメトリック知識との間の矛盾は、RAGシステムの有効性を損なう可能性があります。
このような知識の不一致に対するRAGシステムの堅牢性を体系的に調査するために、wenshiftqaを紹介します。
この新しい質問に答えるデータセットは、回答とソースドキュメントの両方に意図的な仮説知識の更新を適用し、教科書の知識がどのように変化するかを反映することにより、これらの不一致をシミュレートします。
KnoshiftQAは、コンテキスト利用と知識統合に焦点を当てた包括的な質問類型で設計された5つの主題にわたる3,005の質問で構成されています。
検索と質問の回答パフォーマンスに関する広範な実験により、ほとんどのRAGシステムは、これらの知識の矛盾に直面した場合、かなりのパフォーマンス低下に苦しんでいることが明らかになりました。
さらに、パラメトリック（LLM）の知識とコンテキスト（教科書）の知識を統合する必要がある質問は、現在のLLMに大きな課題をもたらします。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems show remarkable potential as question answering tools in the K-12 Education domain, where knowledge is typically queried within the restricted scope of authoritative textbooks. However, discrepancies between these textbooks and the parametric knowledge inherent in Large Language Models (LLMs) can undermine the effectiveness of RAG systems. To systematically investigate RAG system robustness against such knowledge discrepancies, we introduce KnowShiftQA. This novel question answering dataset simulates these discrepancies by applying deliberate hypothetical knowledge updates to both answers and source documents, reflecting how textbook knowledge can shift. KnowShiftQA comprises 3,005 questions across five subjects, designed with a comprehensive question typology focusing on context utilization and knowledge integration. Our extensive experiments on retrieval and question answering performance reveal that most RAG systems suffer a substantial performance drop when faced with these knowledge discrepancies. Furthermore, questions requiring the integration of contextual (textbook) knowledge with parametric (LLM) knowledge pose a significant challenge to current LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google