On the Learnability of Watermarks for Language Models

要約

言語モデル出力の透かしを使用すると、モデルで生成されたテキストの統計的検出が可能になり、言語モデルの責任ある展開に多くの用途があります。
既存の透かし戦略は、既存の言語モデルのデコーダーを変更することによって機能し、言語モデルが透かしの生成を直接学習する機能は、現実世界での透かしの展開に重大な影響を与えるでしょう。
まず、学習された透かしを使用して、透かし入りのテキストを自然に生成するオープン モデルを構築することができ、オープン モデルが透かしの恩恵を受けることができます。
第 2 に、生成されたテキストの出所を特定するために透かしが使用されている場合、攻撃者は透かしを偽装し、有害な透かし入りテキストを生成することで、被害者モデルの評判を傷つける可能性があります。
ウォーターマークの学習可能性を調査するために、デコードベースのウォーターマークを使用する教師モデルのように動作するように学生モデルをトレーニングするウォーターマーク蒸留を提案します。
私たちは、3 つの異なるデコードベースの透かし戦略とさまざまなハイパーパラメーター設定でアプローチをテストし、モデルが高い検出可能性で透かし入りテキストを生成する方法を学習できることを発見しました。
また、通常のテキストの微調整下での透かし機能の損失や、低歪みの透かしを学習する際のサンプルの複雑さなど、学習可能性に対する制限も見つかりました。

要約(オリジナル)

Watermarking of language model outputs enables statistical detection of model-generated text, which has many applications in the responsible deployment of language models. Existing watermarking strategies operate by altering the decoder of an existing language model, and the ability for a language model to directly learn to generate the watermark would have significant implications for the real-world deployment of watermarks. First, learned watermarks could be used to build open models that naturally generate watermarked text, allowing for open models to benefit from watermarking. Second, if watermarking is used to determine the provenance of generated text, an adversary can hurt the reputation of a victim model by spoofing its watermark and generating damaging watermarked text. To investigate the learnability of watermarks, we propose watermark distillation, which trains a student model to behave like a teacher model that uses decoding-based watermarking. We test our approach on three distinct decoding-based watermarking strategies and various hyperparameter settings, finding that models can learn to generate watermarked text with high detectability. We also find limitations to learnability, including the loss of watermarking capabilities under fine-tuning on normal text and high sample complexity when learning low-distortion watermarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google