Out of Style: RAG’s Fragility to Linguistic Variation

要約

さまざまなNLPベンチマークにわたる検索された生成（RAG）システムの印象的なパフォーマンスにもかかわらず、実際のユーザー-LLMインタラクションクエリの処理における堅牢性はほとんど未定です。
これは、ユーザークエリがより大きな言語的変動を示し、相互依存のRAGコンポーネント全体でカスケードエラーを引き起こす可能性がある実際の展開の重要なギャップを示します。
この作業では、4つの言語次元（形式、読みやすさ、礼儀正しさ、文法的正しさ）がぼろきれのパフォーマンスにどのように変化するかを体系的に分析します。
2つの検索モデルと9つのLLMを評価します。これは、3〜720億のパラメーターの範囲で、4つの情報を求める質問応答（QA）データセットにまたがります。
我々の結果は、言語の再定式化が検索段階と生成段階の両方に大きく影響し、少ない正式なクエリではリコール@5スコアで最大40.41％、文法エラーを含むクエリの回答マッチスコアで38.86％になることを明らかにしています。
特に、RAGシステムは、LLMのみの世代と比較して、このような変動に対してより大きな感度を示し、言語シフトによるエラー伝播に対する脆弱性を強調しています。
これらの調査結果は、多様なユーザーインタラクションの信頼性を高めるための堅牢性技術の改善の必要性を強調しています。

要約(オリジナル)

Despite the impressive performance of Retrieval-augmented Generation (RAG) systems across various NLP benchmarks, their robustness in handling real-world user-LLM interaction queries remains largely underexplored. This presents a critical gap for practical deployment, where user queries exhibit greater linguistic variations and can trigger cascading errors across interdependent RAG components. In this work, we systematically analyze how varying four linguistic dimensions (formality, readability, politeness, and grammatical correctness) impact RAG performance. We evaluate two retrieval models and nine LLMs, ranging from 3 to 72 billion parameters, across four information-seeking Question Answering (QA) datasets. Our results reveal that linguistic reformulations significantly impact both retrieval and generation stages, leading to a relative performance drop of up to 40.41% in Recall@5 scores for less formal queries and 38.86% in answer match scores for queries containing grammatical errors. Notably, RAG systems exhibit greater sensitivity to such variations compared to LLM-only generations, highlighting their vulnerability to error propagation due to linguistic shifts. These findings highlight the need for improved robustness techniques to enhance reliability in diverse user interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google