Ward: Provable RAG Dataset Inference via LLM Watermarks

要約

RAGにより、LLMは外部データを簡単に組み込むことができ、コンテンツの不正使用に関するデータ所有者の懸念を提起します。
このような許可されていない使用法を検出するという課題は、標準の依存症状のままであり、隣接するフィールドのデータセットとメソッドはその研究に適していません。
このギャップを埋めるためにいくつかの措置を講じます。
まず、この問題を（ブラックボックス）ragデータセット推論（rag-di）として形式化します。
次に、ベースラインのセットとともに、RAG-DIメソッドのリアルなベンチマーク用に設計された新しいデータセットを紹介します。
最後に、データ所有者にRAG Corporaにおけるデータセットの誤用に関する厳格な統計的保証を装備するLLM透かしに基づくRAG-DIの方法であるWardを提案します。
ワードは一貫してすべてのベースラインを上回り、より高い精度、優れたクエリ効率、堅牢性を達成します。
私たちの仕事は、Rag-Diの将来の研究の基盤を提供し、LLM透かしをこの問題に対する有望なアプローチとして強調しています。

要約(オリジナル)

RAG enables LLMs to easily incorporate external data, raising concerns for data owners regarding unauthorized usage of their content. The challenge of detecting such unauthorized usage remains underexplored, with datasets and methods from adjacent fields being ill-suited for its study. We take several steps to bridge this gap. First, we formalize this problem as (black-box) RAG Dataset Inference (RAG-DI). We then introduce a novel dataset designed for realistic benchmarking of RAG-DI methods, alongside a set of baselines. Finally, we propose Ward, a method for RAG-DI based on LLM watermarks that equips data owners with rigorous statistical guarantees regarding their dataset’s misuse in RAG corpora. Ward consistently outperforms all baselines, achieving higher accuracy, superior query efficiency and robustness. Our work provides a foundation for future studies of RAG-DI and highlights LLM watermarks as a promising approach to this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google