TempTest: Local Normalization Distortion and the Detection of Machine-generated Text

要約

機械で生成されたテキストのゼロショット検出のための既存の方法は、対数尤度、ログランク、およびエントロピーの3つの統計量によって支配されています。
言語モデルが人間のテキストの分布をこれまでに近づくにつれて、これにより、効果的な検出アルゴリズムを構築する能力が制限されます。
これと戦うために、生成言語モデルの完全に不可知論される機械で生成されたテキストを検出する方法を紹介します。
これは、温度やトップKサンプリングなどのデコード戦略が条件付き確率測定を正常化する方法で欠陥をターゲットにすることによって達成されます。
この方法は、理論的に正当化され、簡単に説明でき、概念的に既存の方法と機械生成テキストを検出する方法とは異なります。
さまざまな言語モデル、データセット、およびパッセージの長さにわたって、白とブラックボックスの設定で検出器を評価します。
また、検出器に対する言い換え攻撃の効果と、それが非ネイティブスピーカーに対して偏っている程度を研究します。
これらの各設定では、テストのパフォーマンスは、少なくとも他の最先端のテキスト検出器のパフォーマンスに匹敵します。場合によっては、これらのベースラインを強く上回ります。

要約(オリジナル)

Existing methods for the zero-shot detection of machine-generated text are dominated by three statistical quantities: log-likelihood, log-rank, and entropy. As language models mimic the distribution of human text ever closer, this will limit our ability to build effective detection algorithms. To combat this, we introduce a method for detecting machine-generated text that is entirely agnostic of the generating language model. This is achieved by targeting a defect in the way that decoding strategies, such as temperature or top-k sampling, normalize conditional probability measures. This method can be rigorously theoretically justified, is easily explainable, and is conceptually distinct from existing methods for detecting machine-generated text. We evaluate our detector in the white and black box settings across various language models, datasets, and passage lengths. We also study the effect of paraphrasing attacks on our detector and the extent to which it is biased against non-native speakers. In each of these settings, the performance of our test is at least comparable to that of other state-of-the-art text detectors, and in some cases, we strongly outperform these baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google