Waterfall: Framework for Robust and Scalable Text Watermarking

要約

特に、大規模言語モデル（LLM）による言い換えや、著作権で保護されたテキストにLLMを不正に学習させて知的財産を侵害するような高度な攻撃が可能になるにつれて、論文やコードなどのテキストの知的財産（IP）を保護することの重要性が増している。しかし、既存のテキスト電子透かし法は、このような攻撃に対して十分に頑健ではなく、また、実用的な実装のために数百万人のユーザーに対してスケーラブルでもない。本論文では、LLMがサポートする複数のテキストタイプ（例えば、論文、コード）と言語に適用可能で、一般的なテキストとLLMデータの出所に対応する、堅牢でスケーラブルなテキスト電子透かしのための初のトレーニングフリーフレームワークであるWaterfallを提案する。Waterfallは、堅牢な検証可能性とスケーラビリティを達成するために驚くほど効果的な技術の新しい組み合わせとともに、電子透かしのためのパラフレーザーとしてLLMを使用する最初のものであるなど、いくつかの重要な革新的技術から構成されています。Waterfallは、SOTAアーティクル・テキスト電子透かし手法と比較して、著しく優れたスケーラビリティ、ロバストな検証可能性、計算効率を達成することを実証的に示し、また、コードの電子透かしに直接適用できることを示した。

要約(オリジナル)

Protecting intellectual property (IP) of text such as articles and code is increasingly important, especially as sophisticated attacks become possible, such as paraphrasing by large language models (LLMs) or even unauthorized training of LLMs on copyrighted text to infringe such IP. However, existing text watermarking methods are not robust enough against such attacks nor scalable to millions of users for practical implementation. In this paper, we propose Waterfall, the first training-free framework for robust and scalable text watermarking applicable across multiple text types (e.g., articles, code) and languages supportable by LLMs, for general text and LLM data provenance. Waterfall comprises several key innovations, such as being the first to use LLM as paraphrasers for watermarking along with a novel combination of techniques that are surprisingly effective in achieving robust verifiability and scalability. We empirically demonstrate that Waterfall achieves significantly better scalability, robust verifiability, and computational efficiency compared to SOTA article-text watermarking methods, and also showed how it could be directly applied to the watermarking of code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL