Watermarks in the Sand: Impossibility of Strong Watermarking for Generative Models

要約

生成モデルに透かしを入れることは、出力が指定されたモデルによって生成されたものであることを後で検証できるように、モデルの出力に統計信号 (透かし) を埋め込むことで構成されます。
強力な透かしスキームは、計算上の制限を受けた攻撃者が重大な品質低下を引き起こすことなく透かしを消去できないという特性を満たします。
この論文では、強力な透かしスキームの（不可能な）可能性を研究します。
私たちは、十分に指定された自然な仮定の下では、強力な透かしを実現することは不可能であることを証明します。
これは、ウォーターマーク挿入アルゴリズムと検出アルゴリズムが攻撃者に知られていない秘密キーを共有するプライベート検出アルゴリズム設定でも当てはまります。
この結果を証明するために、一般的な効率的なウォーターマーク攻撃を導入します。
攻撃者は、スキームの秘密キーや、どのスキームが使用されているかさえ知る必要はありません。
私たちの攻撃は 2 つの仮定に基づいています: (1) 攻撃者は、候補出力がプロンプトに対する高品質な応答であるかどうかを評価できる「品質オラクル」にアクセスできる、(2) 攻撃者は「摂動」にアクセスできる
oracle」は、品質を維持する自明ではない確率で出力を変更でき、高品質の出力に対して効率的に混合ランダム ウォークを誘導します。
私たちは、どちらの仮定も、実際には、透かしを入れたモデル自体よりも弱い計算能力を持つ攻撃者によって満たされる可能性があると主張し、攻撃者はブラックボックスにアクセスすることしかできません。
さらに、モデルの機能と方式が成長するにつれて、私たちの仮定は時間の経過とともに満たされやすくなる可能性があります。
私たちは、大規模な言語モデル用の 3 つの既存の透かしスキームを攻撃するために攻撃をインスタンス化することで、攻撃の実現可能性を実証します。
(2023)、クディティプディら。
（2023）、およびZhaoら。
（2023年）。
同じ攻撃により、3 つのスキームすべてによって埋め込まれたウォーターマークの除去に成功しましたが、品質の低下はわずかでした。

要約(オリジナル)

Watermarking generative models consists of planting a statistical signal (watermark) in a model’s output so that it can be later verified that the output was generated by the given model. A strong watermarking scheme satisfies the property that a computationally bounded attacker cannot erase the watermark without causing significant quality degradation. In this paper, we study the (im)possibility of strong watermarking schemes. We prove that, under well-specified and natural assumptions, strong watermarking is impossible to achieve. This holds even in the private detection algorithm setting, where the watermark insertion and detection algorithms share a secret key, unknown to the attacker. To prove this result, we introduce a generic efficient watermark attack; the attacker is not required to know the private key of the scheme or even which scheme is used. Our attack is based on two assumptions: (1) The attacker has access to a ‘quality oracle’ that can evaluate whether a candidate output is a high-quality response to a prompt, and (2) The attacker has access to a ‘perturbation oracle’ which can modify an output with a nontrivial probability of maintaining quality, and which induces an efficiently mixing random walk on high-quality outputs. We argue that both assumptions can be satisfied in practice by an attacker with weaker computational capabilities than the watermarked model itself, to which the attacker has only black-box access. Furthermore, our assumptions will likely only be easier to satisfy over time as models grow in capabilities and modalities. We demonstrate the feasibility of our attack by instantiating it to attack three existing watermarking schemes for large language models: Kirchenbauer et al. (2023), Kuditipudi et al. (2023), and Zhao et al. (2023). The same attack successfully removes the watermarks planted by all three schemes, with only minor quality degradation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google