PostMark: A Robust Blackbox Watermark for Large Language Models

要約

LLM で生成されたテキストを検出する最も効果的な手法は、モデルのデコード プロセス中に検出可能な署名 (または透かし) を挿入することに依存しています。
既存の透かし手法のほとんどは、基礎となる LLM のロジットへのアクセスを必要としますが、LLM API プロバイダーはモデルの蒸留を恐れてそのロジットを共有することを嫌がります。
したがって、これらのウォーターマークは、各 LLM プロバイダーが個別に実装する必要があります。
この論文では、PostMark を開発します。PostMark は、復号化プロセスが完了した後に、入力に依存する単語のセット (意味埋め込みによって決定される) がテキストに挿入されるモジュール式ポストホック電子透かし手順です。
重要なことは、PostMark はロジット アクセスを必要としないため、サードパーティが実装できることを意味します。
また、PostMark が既存の電子透かし手法よりも言い換え攻撃に対して堅牢であることも示します。実験では、8 つのベースライン アルゴリズム、5 つのベース LLM、および 3 つのデータセットがカバーされています。
最後に、自動評価と人間による評価の両方を使用して PostMark がテキスト品質に及ぼす影響を評価し、品質と言い換えに対する堅牢性の間のトレードオフを強調します。
コード、出力、および注釈は https://github.com/lilakk/PostMark でリリースされます。

要約(オリジナル)

The most effective techniques to detect LLM-generated text rely on inserting a detectable signature — or watermark — during the model’s decoding process. Most existing watermarking methods require access to the underlying LLM’s logits, which LLM API providers are loath to share due to fears of model distillation. As such, these watermarks must be implemented independently by each LLM provider. In this paper, we develop PostMark, a modular post-hoc watermarking procedure in which an input-dependent set of words (determined via a semantic embedding) is inserted into the text after the decoding process has completed. Critically, PostMark does not require logit access, which means it can be implemented by a third party. We also show that PostMark is more robust to paraphrasing attacks than existing watermarking methods: our experiments cover eight baseline algorithms, five base LLMs, and three datasets. Finally, we evaluate the impact of PostMark on text quality using both automated and human assessments, highlighting the trade-off between quality and robustness to paraphrasing. We release our code, outputs, and annotations at https://github.com/lilakk/PostMark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google