PersonaMark: Personalized LLM watermarking for model protection and user attribution

要約

カスタマイズされたラージ言語モデル (LLM) の急速な進歩により、かなりの利便性が提供されます。
ただし、著作権/機密情報の保護に関する懸念も高まります。
プライベート LLM の広範な採用により、モデルの著作権を保護し、データのプライバシーを確​​保することが重要になっています。
テキスト透かしは、AI によって生成されたコンテンツを検出し、モデルを保護するための実行可能なソリューションとして浮上しました。
しかし、既存の方法では、アカウンタビリティとトレーサビリティを強化するための重要な機能である、各ユーザーに個別のウォーターマークを提供するという点で不十分です。
このペーパーでは、LLM の著作権を保護し、説明責任を強化するために設計された、新しいパーソナライズされたテキスト透かしスキームである PersonaMark を紹介します。
ペルソナマークは、透かし情報の微妙な伝達手段として文構造を活用し、モデルの自然な出力を維持するために生成プロセスを最適化します。
パーソナライズされたハッシュ関数を採用することで、ユーザーごとに独自のウォーターマークが埋め込まれ、モデルのパフォーマンスを損なうことなく高品質なテキスト生成が可能になります。
このアプローチは時間効率が高く、スケーラブルであり、マルチユーザー ハッシュ メカニズムを通じて多数のユーザーを処理できます。
私たちの知る限り、これは LLM におけるパーソナライズされた透かしを探求する先駆的な研究です。
私たちは 4 つの LLM にわたって広範な評価を実施し、複雑さ、センチメント、整合性、可読性などのさまざまな指標を分析します。
結果は、ペルソナマークが最小限の中断でモデルの動作を維持しながら、テキストの品質を維持し、偏りのない透かし挿入を保証し、堅牢な透かし検出機能を提供することを検証します。

要約(オリジナル)

The rapid advancement of customized Large Language Models (LLMs) offers considerable convenience. However, it also intensifies concerns regarding the protection of copyright/confidential information. With the extensive adoption of private LLMs, safeguarding model copyright and ensuring data privacy have become critical. Text watermarking has emerged as a viable solution for detecting AI-generated content and protecting models. However, existing methods fall short in providing individualized watermarks for each user, a critical feature for enhancing accountability and traceability. In this paper, we introduce PersonaMark, a novel personalized text watermarking scheme designed to protect LLMs’ copyrights and bolster accountability. PersonaMark leverages sentence structure as a subtle carrier of watermark information and optimizes the generation process to maintain the natural output of the model. By employing a personalized hashing function, unique watermarks are embedded for each user, enabling high-quality text generation without compromising the model’s performance. This approach is both time-efficient and scalable, capable of handling large numbers of users through a multi-user hashing mechanism. To the best of our knowledge, this is a pioneer study to explore personalized watermarking in LLMs. We conduct extensive evaluations across four LLMs, analyzing various metrics such as perplexity, sentiment, alignment, and readability. The results validate that PersonaMark preserves text quality, ensures unbiased watermark insertion, and offers robust watermark detection capabilities, all while maintaining the model’s behavior with minimal disruption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google