Towards Optimal Statistical Watermarking

要約

私たちは、統計的透かしを、これまでのすべての統計的透かし手法を包含する一般的な枠組みである仮説検定問題として定式化することによって研究します。
私たちの定式化の鍵となるのは、出力トークンと拒否領域の結合であり、実際には擬似乱数生成器によって実現され、タイプ I エラーとタイプ II エラーの間の重要なトレードオフを可能にします。
この文脈で、Uniformly Most Powerful (UMP) ウォーターマークの特徴を説明します。
出力が $n$ トークンのシーケンスである最も一般的なシナリオでは、i.i.d の数に一致する上限と下限を確立します。
小規模なタイプ I およびタイプ II エラーを保証するために必要なトークン。
私たちのレートは、トークン $h$ あたりの平均エントロピーに関して $\Theta(h^{-1} \log (1/h))$ としてスケールされるため、$O(h^{-2})$ が大幅に改善されます。
過去作でのレート。
検出器がモデルの分布に関する知識を欠いているシナリオでは、モデルに依存しない透かしの概念を導入し、その結果生じるタイプ II 誤差の増加に対する最小限界を確立します。
さらに、ユーザーが生成されたテキストに対してあるクラスの摂動を実行できる堅牢な透かし問題を定式化し、線形計画問題を介して堅牢な UMP テストの最適なタイプ II エラーを特徴付けます。
私たちの知る限り、これは i.i.d. における最適に近いレートでの透かし問題に関する最初の体系的な統計処理です。
設定があり、将来の作品でも興味深いかもしれません。

要約(オリジナル)

We study statistical watermarking by formulating it as a hypothesis testing problem, a general framework which subsumes all previous statistical watermarking methods. Key to our formulation is a coupling of the output tokens and the rejection region, realized by pseudo-random generators in practice, that allows non-trivial trade-off between the Type I error and Type II error. We characterize the Uniformly Most Powerful (UMP) watermark in this context. In the most common scenario where the output is a sequence of $n$ tokens, we establish matching upper and lower bounds on the number of i.i.d. tokens required to guarantee small Type I and Type II errors. Our rate scales as $\Theta(h^{-1} \log (1/h))$ with respect to the average entropy per token $h$ and thus greatly improves the $O(h^{-2})$ rate in the previous works. For scenarios where the detector lacks knowledge of the model’s distribution, we introduce the concept of model-agnostic watermarking and establish the minimax bounds for the resultant increase in Type II error. Moreover, we formulate the robust watermarking problem where user is allowed to perform a class of perturbation on the generated texts, and characterize the optimal type II error of robust UMP tests via a linear programming problem. To the best of our knowledge, this is the first systematic statistical treatment on the watermarking problem with near-optimal rates in the i.i.d. setting, and might be of interest for future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google