Robust Natural Language Watermarking through Invariant Features

要約

【タイトル】不変機能による堅牢な自然言語ウォーターマーキング

【要約】
– 今日では、購読型メディアアウトレット、ウェブ小説プラットフォーム、大規模言語モデルの出力などで有益なオリジナル自然言語コンテンツが増加してきている。しかし、適切なセキュリティ対策がなければ、これらのコンテンツは違法な海賊行為や悪用の可能性にさらされる。
– これに対応するために、著作権保護を確保するための安全なウォーターマーキングシステムが必要とされる。そのためには、ウォーターマークを埋め込めるだけでなく、ウォーターマークを取り出しやすく、堅牢であることが求められる。
– 本研究では、画像ウォーターマーキングから知られている命題を採用し、軽微な破損に対して不変である自然言語の特徴を特定する方法を探究した。また、エラーの可能なソースを系統的に分析し、耐破壊性のインフィルモデルを提案した。
– 本方法は、4つのデータセット、3つの破損タイプ、2つの破損率に対して、前作に比べて平均16.8％ポイントの堅牢性の向上を実現している。コードはhttps://github.com/bangawayoo/nlp-watermarkingで入手可能。

要約(オリジナル)

Recent years have witnessed a proliferation of valuable original natural language contents found in subscription-based media outlets, web novel platforms, and outputs of large language models. Without proper security measures, however, these contents are susceptible to illegal piracy and potential misuse. This calls for a secure watermarking system to guarantee copyright protection through leakage tracing or ownership identification. To effectively combat piracy and protect copyrights, a watermarking framework should be able not only to embed adequate bits of information but also extract the watermarks in a robust manner despite possible corruption. In this work, we explore ways to advance both payload and robustness by following a well-known proposition from image watermarking and identify features in natural language that are invariant to minor corruption. Through a systematic analysis of the possible sources of errors, we further propose a corruption-resistant infill model. Our full method improves upon the previous work on robustness by +16.8% point on average on four datasets, three corruption types, and two corruption ratios. Code available at https://github.com/bangawayoo/nlp-watermarking.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI