Ward: Provable RAG Dataset Inference via LLM Watermarks

要約

検索補強型生成（RAG）は、生成中に外部データを取り込むことを可能にすることで、LLMを改善する。このことは、RAGシステムにおけるコンテンツの不正使用に関するデータ所有者の懸念を引き起こす。その重要性にもかかわらず、そのような不正利用を検出するという課題は未解明のままであり、既存のデータセットや隣接分野の方法論はその研究には適していない。本研究では、このギャップを埋めるためにいくつかのステップを踏む。まず、この問題を（ブラックボックス）RAGデータセット推論（RAG-DI）として定式化する。この課題の研究を促進するために、現実的な条件下でのRAG-DI手法のベンチマーク用に特別に設計された新しいデータセットを紹介し、ベースラインアプローチのセットを提案する。この基盤の上に、我々は、データ所有者がRAGシステムにおけるデータセットの使用に関して厳密な統計的保証を得ることを可能にする、LLM透かしに基づくRAG-DI手法であるWardを紹介する。我々の実験的評価では、Wardが多くの困難な設定において全てのベースラインを一貫して凌駕し、より高い精度、優れたクエリ効率、ロバスト性を達成することを示す。我々の研究は、RAG-DIの将来の研究のための基礎を提供し、この問題に対する有望なアプローチとしてLLM透かしを強調している。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) improves LLMs by enabling them to incorporate external data during generation. This raises concerns for data owners regarding unauthorized use of their content in RAG systems. Despite its importance, the challenge of detecting such unauthorized usage remains underexplored, with existing datasets and methodologies from adjacent fields being ill-suited for its study. In this work, we take several steps to bridge this gap. First, we formalize this problem as (black-box) RAG Dataset Inference (RAG-DI). To facilitate research on this challenge, we further introduce a novel dataset specifically designed for benchmarking RAG-DI methods under realistic conditions, and propose a set of baseline approaches. Building on this foundation, we introduce Ward, a RAG-DI method based on LLM watermarks that enables data owners to obtain rigorous statistical guarantees regarding the usage of their dataset in a RAG system. In our experimental evaluation, we show that Ward consistently outperforms all baselines across many challenging settings, achieving higher accuracy, superior query efficiency and robustness. Our work provides a foundation for future studies of RAG-DI and highlights LLM watermarks as a promising approach to this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL