Typos that Broke the RAG’s Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations

要約

最近の大規模言語モデル (LLM) の適用可能性がさまざまなドメインや現実世界のアプリケーションに拡大するにつれて、その堅牢性がますます重要になってきています。
検索拡張生成 (RAG) は、LLM の制限に対処するための有望なソリューションですが、RAG の堅牢性に関する既存の研究では、RAG コンポーネント間の相互接続関係や、軽微なテキスト エラーなど、現実世界のデータベースに蔓延する潜在的な脅威が見落とされていることがよくあります。
。
この研究では、RAG の堅牢性を評価する際にまだ解明されていない 2 つの側面、1) 低レベルの摂動によるノイズの多いドキュメントに対する脆弱性、および 2) RAG の堅牢性の全体的な評価を調査します。
さらに、これらの側面をターゲットとした新しい攻撃手法である Genetic Attack on RAG (\textit{GARAG}) を紹介します。
具体的には、GARAG は、各コンポーネント内の脆弱性を明らかにし、ノイズの多いドキュメントに対してシステム全体の機能をテストするように設計されています。
\textit{GARAG} を標準 QA データセットに適用し、さまざまな取得者と LLM を組み込むことで、RAG の堅牢性を検証します。
実験結果は、GARAG が一貫して高い攻撃成功率を達成していることを示しています。
また、各コンポーネントのパフォーマンスとその相乗効果を著しく損なうため、わずかなテキストの不正確さが現実世界の RAG システムを混乱させる大きなリスクを浮き彫りにします。

要約(オリジナル)

The robustness of recent Large Language Models (LLMs) has become increasingly crucial as their applicability expands across various domains and real-world applications. Retrieval-Augmented Generation (RAG) is a promising solution for addressing the limitations of LLMs, yet existing studies on the robustness of RAG often overlook the interconnected relationships between RAG components or the potential threats prevalent in real-world databases, such as minor textual errors. In this work, we investigate two underexplored aspects when assessing the robustness of RAG: 1) vulnerability to noisy documents through low-level perturbations and 2) a holistic evaluation of RAG robustness. Furthermore, we introduce a novel attack method, the Genetic Attack on RAG (\textit{GARAG}), which targets these aspects. Specifically, GARAG is designed to reveal vulnerabilities within each component and test the overall system functionality against noisy documents. We validate RAG robustness by applying our \textit{GARAG} to standard QA datasets, incorporating diverse retrievers and LLMs. The experimental results show that GARAG consistently achieves high attack success rates. Also, it significantly devastates the performance of each component and their synergy, highlighting the substantial risk that minor textual inaccuracies pose in disrupting RAG systems in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google