X-Mark: Towards Lossless Watermarking Through Lexical Redundancy

要約

テキストの透かしは、機械生成されたテキストを検出するための重要な技術として浮上しました。
ただし、既存の方法では、任意の語彙分割によりテキストの品質が大幅に低下する可能性があり、言語モデルの表現力が損なわれ、テキストの一貫性が損なわれます。
これを軽減するために、語彙空間内のテキストの冗長性を利用する新しいアプローチである XMark を導入します。
具体的には、XMark は、言語モデルのデコード プロセス中に同義語の相互排他的なルールを組み込むことで、事前の知識を語彙の分割に統合し、言語生成の機能を維持します。
XMark が透かしの検出可能性を維持しながらテキスト生成の流暢性を大幅に向上させることを実証する理論的分析と経験的証拠を紹介します。
さらに、ゼロショットおよび少数ショットの知識想起、論理的推論、指示のフォローなど、大規模な言語モデルの創発的な能力に対する透かしの影響を調査します。
私たちの包括的な実験により、LLM のこれらの重要な機能を維持する点で、XMark が既存の方法よりも常に優れていることが確認されました。

要約(オリジナル)

Text watermarking has emerged as an important technique for detecting machine-generated text. However, existing methods can severely degrade text quality due to arbitrary vocabulary partitioning, which disrupts the language model’s expressiveness and impedes textual coherence. To mitigate this, we introduce XMark, a novel approach that capitalizes on text redundancy within the lexical space. Specifically, XMark incorporates a mutually exclusive rule for synonyms during the language model decoding process, thereby integrating prior knowledge into vocabulary partitioning and preserving the capabilities of language generation. We present theoretical analyses and empirical evidence demonstrating that XMark substantially enhances text generation fluency while maintaining watermark detectability. Furthermore, we investigate watermarking’s impact on the emergent abilities of large language models, including zero-shot and few-shot knowledge recall, logical reasoning, and instruction following. Our comprehensive experiments confirm that XMark consistently outperforms existing methods in retaining these crucial capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google