Quantifying the Robustness of Retrieval-Augmented Language Models Against Spurious Features in Grounding Data

要約

堅牢性は、実際のアプリケーションでRAGシステムを展開するための重要な属性となっています。
既存の研究は、明示的なノイズ（ドキュメントセマンティクスなど）に対する堅牢性に焦点を当てていますが、偽の特徴（別名暗黙のノイズ）を見落としています。
以前の作品はLLMSの偽の機能を調査していましたが、それらは特定の機能（形式など）と狭いシナリオ（ICLなど）に限定されています。
この作業では、ragパラダイムにおける偽の特徴の存在を統計的に確認します。これは、セマンティックに依存しない特徴に対するLLMの感度によって引き起こされる堅牢性の問題です。
さらに、偽の特徴の包括的な分類法を提供し、制御された実験を通じてその影響を経験的に定量化します。
さらなる分析により、すべての偽の機能が有害ではなく、時には有益であることさえあることが明らかになります。
複数のLLMにわたる広範な評価結果は、スプリアス機能がRAGの分野で広く困難で挑戦的な問題であることを示唆しています。
コードとデータセットは、将来の研究を促進するためにリリースされます。
すべてのコードとデータを$ \\\ href {https://github.com/maybenotime/rag-spuriousfeatures} {https://github.com/maybenotime/rag-spuriousfeatures} $でリリースします。

要約(オリジナル)

Robustness has become a critical attribute for the deployment of RAG systems in real-world applications. Existing research focuses on robustness to explicit noise (e.g., document semantics) but overlooks spurious features (a.k.a. implicit noise). While previous works have explored spurious features in LLMs, they are limited to specific features (e.g., formats) and narrow scenarios (e.g., ICL). In this work, we statistically confirm the presence of spurious features in the RAG paradigm, a robustness problem caused by the sensitivity of LLMs to semantic-agnostic features. Moreover, we provide a comprehensive taxonomy of spurious features and empirically quantify their impact through controlled experiments. Further analysis reveals that not all spurious features are harmful and they can even be beneficial sometimes. Extensive evaluation results across multiple LLMs suggest that spurious features are a widespread and challenging problem in the field of RAG. The code and dataset will be released to facilitate future research. We release all codes and data at: $\\\href{https://github.com/maybenotime/RAG-SpuriousFeatures}{https://github.com/maybenotime/RAG-SpuriousFeatures}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google