On the Learnability of Watermarks for Language Models

要約

言語モデル出力の透かしを使用すると、モデルで生成されたテキストの統計的検出が可能になり、言語モデルの危害や誤用を軽減できます。
既存の透かし戦略は、既存の言語モデルのデコーダーを変更することによって機能します。
この論文では、言語モデルが透かし入りテキストの生成を直接学習できるかどうかを尋ねます。これは、透かしの実際の展開に重大な影響を与える可能性があります。
まず、学習された透かしを使用して、透かし入りのテキストを自然に生成するオープン モデルを構築することができ、ユーザーがデコード手順を制御できるオープン モデルに透かしを入れることが可能になります。
第 2 に、生成されたテキストの出所を特定するために透かしが使用されている場合、攻撃者は透かしを偽装し、有害な透かし入りテキストを生成することで、被害者モデルの評判を傷つける可能性があります。
ウォーターマークの学習可能性を調査するために、デコードベースのウォーターマークを使用する教師モデルのように動作するように学生モデルをトレーニングするウォーターマーク蒸留を提案します。
3 つのデコードベースの透かし戦略とさまざまなハイパーパラメーター設定でアプローチをテストし、モデルが高い検出可能性で透かし入りテキストを生成する方法を学習できることがわかりました。
また、通常のテキストの微調整下での透かし機能の損失や、低歪みの透かしを学習する際のサンプルの複雑さなど、学習可能性に対する制限も見つかりました。

要約(オリジナル)

Watermarking of language model outputs enables statistical detection of model-generated text, which can mitigate harms and misuses of language models. Existing watermarking strategies operate by altering the decoder of an existing language model. In this paper, we ask whether language models can directly learn to generate watermarked text, which would have significant implications for the real-world deployment of watermarks. First, learned watermarks could be used to build open models that naturally generate watermarked text, enabling watermarking for open models, where users can control the decoding procedure. Second, if watermarking is used to determine the provenance of generated text, an adversary can hurt the reputation of a victim model by spoofing its watermark and generating damaging watermarked text. To investigate the learnability of watermarks, we propose watermark distillation, which trains a student model to behave like a teacher model that uses decoding-based watermarking. We test our approach on three decoding-based watermarking strategies and various hyperparameter settings, finding that models can learn to generate watermarked text with high detectability. We also find limitations to learnability, including the loss of watermarking capabilities under fine-tuning on normal text and high sample complexity when learning low-distortion watermarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google