Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation

要約

検索拡張世代（RAG）システムは、自然言語処理において大きな可能性を示してきた。しかし、検索データベースに格納されたデータに依存するため、独自の情報や機密情報が含まれる可能性があり、プライバシーに関する新たな懸念が生じる。具体的には、攻撃者はRAGシステムの出力を観察することで、検索データベースに特定のテキストが含まれているかどうかを推測することができる。この脅威の重要性にもかかわらず、RAGシステムに対するMIAはまだ十分に研究されていない。本研究では、RAGシステムに対してMIAを行うための効率的で使いやすい手法を導入することで、このギャップに対処する。我々は、2つのベンチマークデータセットと複数の生成モデルを用いて、我々の攻撃の有効性を実証し、ブラックボックスとグレーボックスの両方の設定において、適切なプロンプトを作成することにより、検索データベースにおける文書のメンバシップを効率的に決定できることを示す。さらに、RAGテンプレートへの指示追加に基づく初期防御戦略を紹介し、これはいくつかのデータセットとモデルに対して高い有効性を示す。我々の発見は、配備されたRAGシステムにセキュリティ対策を実装し、検索データベースのプライバシーとセキュリティを保護するためのより高度な防御策を開発することの重要性を強調するものである。

要約(オリジナル)

Retrieval Augmented Generation (RAG) systems have shown great promise in natural language processing. However, their reliance on data stored in a retrieval database, which may contain proprietary or sensitive information, introduces new privacy concerns. Specifically, an attacker may be able to infer whether a certain text passage appears in the retrieval database by observing the outputs of the RAG system, an attack known as a Membership Inference Attack (MIA). Despite the significance of this threat, MIAs against RAG systems have yet remained under-explored. This study addresses this gap by introducing an efficient and easy-to-use method for conducting MIA against RAG systems. We demonstrate the effectiveness of our attack using two benchmark datasets and multiple generative models, showing that the membership of a document in the retrieval database can be efficiently determined through the creation of an appropriate prompt in both black-box and gray-box settings. Moreover, we introduce an initial defense strategy based on adding instructions to the RAG template, which shows high effectiveness for some datasets and models. Our findings highlight the importance of implementing security countermeasures in deployed RAG systems and developing more advanced defenses to protect the privacy and security of retrieval databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL