Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy

要約

言語モデルに関連する潜在的なリスクを軽減するために、最近の AI 検出研究では、ランダムな語彙制限を通じて機械生成テキストに透かしを組み込み、この情報を検出に利用することが提案されています。
これらの透かしは混乱をわずかに悪化させるだけですが、私たちの経験的調査により、条件付きテキスト生成のパフォーマンスに重大な悪影響を与えることが明らかになりました。
この問題に対処するために、条件付きテキスト生成と入力コンテキストの特性を考慮した、シンプルかつ効果的なセマンティクスを意識した透かしアルゴリズムを導入します。
実験結果は、私たちが提案した方法が、検出能力を維持しながら、要約やデータからテキストへの生成などのタスクにおいて、BARTやFlan-T5を含むさまざまなテキスト生成モデル全体で大幅な改善をもたらすことを示しています。

要約(オリジナル)

To mitigate potential risks associated with language models, recent AI detection research proposes incorporating watermarks into machine-generated text through random vocabulary restrictions and utilizing this information for detection. While these watermarks only induce a slight deterioration in perplexity, our empirical investigation reveals a significant detriment to the performance of conditional text generation. To address this issue, we introduce a simple yet effective semantic-aware watermarking algorithm that considers the characteristics of conditional text generation and the input context. Experimental results demonstrate that our proposed method yields substantial improvements across various text generation models, including BART and Flan-T5, in tasks such as summarization and data-to-text generation while maintaining detection ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google