A Statistical Framework of Watermarks for Large Language Models: Pivot, Detection Efficiency and Optimal Rules

要約

ChatGPT が 2022 年 11 月に導入されて以来、大規模言語モデル (LLM) によって生成されたテキストに (ほぼ) 目立たない統計信号を埋め込む (透かしとも呼ばれる) ことは、人間の言語モデルから LLM によって生成されたテキストを証明可能に検出するための原則的なアプローチとして使用されてきました。
書かれた対応物。
この論文では、透かしの統計的効率を推論し、強力な検出ルールを設計するための、一般的で柔軟なフレームワークを紹介します。
透かし検出の仮説検証の定式化に触発された私たちのフレームワークは、テキストの重要な統計と、LLM によって検証者に提供される秘密鍵を選択することから始まり、誤検知率 (人間の誤検出エラー) を制御できるようになります。
-LLM によって生成されたテキストとして書き込まれます)。
次に、このフレームワークを使用すると、漸近偽陰性率 (LLM で生成されたテキストを人間が書いたものとして誤って分類するエラー) の閉じた形式の式を取得することで、透かし検出ルールの能力を評価できます。
私たちのフレームワークは、最適な検出ルールを決定する問題をミニマックス最適化プログラムを解く問題にさらに縮小します。
このフレームワークを 2 つの代表的なウォーターマーク (そのうちの 1 つは OpenAI で内部実装されたもの) に適用し、ウォーターマークの実装実践の指針となる可能性のあるいくつかの発見を得ました。
特に、これらの透かしの最適な検出ルールをフレームワークに基づいて導き出します。
これらの理論的に導出された検出ルールは、数値実験を通じて競争力があり、場合によっては既存の検出アプローチよりも高い検出力を享受できることが実証されています。

要約(オリジナル)

Since ChatGPT was introduced in November 2022, embedding (nearly) unnoticeable statistical signals into text generated by large language models (LLMs), also known as watermarking, has been used as a principled approach to provable detection of LLM-generated text from its human-written counterpart. In this paper, we introduce a general and flexible framework for reasoning about the statistical efficiency of watermarks and designing powerful detection rules. Inspired by the hypothesis testing formulation of watermark detection, our framework starts by selecting a pivotal statistic of the text and a secret key — provided by the LLM to the verifier — to enable controlling the false positive rate (the error of mistakenly detecting human-written text as LLM-generated). Next, this framework allows one to evaluate the power of watermark detection rules by obtaining a closed-form expression of the asymptotic false negative rate (the error of incorrectly classifying LLM-generated text as human-written). Our framework further reduces the problem of determining the optimal detection rule to solving a minimax optimization program. We apply this framework to two representative watermarks — one of which has been internally implemented at OpenAI — and obtain several findings that can be instrumental in guiding the practice of implementing watermarks. In particular, we derive optimal detection rules for these watermarks under our framework. These theoretically derived detection rules are demonstrated to be competitive and sometimes enjoy a higher power than existing detection approaches through numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google