Training-Free Watermarking for Autoregressive Image Generation

要約

目に見えない画像の透かしは、画像の所有権を保護し、視覚生成モデルの悪意のある誤用を防ぐことができます。
ただし、既存の生成透過方法は主に拡散モデル向けに設計されていますが、自己回帰画像生成モデルの透かしはほとんど露出していないままです。
自己回帰画像生成モデルのためのトレーニングフリーの透かしフレームワークであるインデックスマークを提案します。
インデックスマークは、コードブックの冗長性プロパティに触発されています。自動網目上生成インデックスを同様のインデックスに置き換えると、視覚的な違いがほとんど生じます。
インデックスマークのコアコンポーネントは、シンプルでありながら効果的なマッチテンレプレース法であり、トークンの類似性に基づいてコードブックから透かし式トークンを慎重に選択し、トークンの交換を介した透かしトークンの使用を促進し、それにより画像の品質に影響を与えることなく透かしを埋め込みます。
透かしの検証は、生成された画像の透かしトークンの割合を計算することで達成され、インデックスエンコーダーによってさらに改善されます。
さらに、作物攻撃に対する堅牢性を高めるために、補助検証スキームを導入します。
実験は、インデックスマークが画質と検証の精度の点で最先端のパフォーマンスを達成し、トリミング、ノイズ、ガウスのぼかし、ランダム消去、カラージッタ、JPEG圧縮など、さまざまな摂動に対して堅牢性を示すことを示しています。

要約(オリジナル)

Invisible image watermarking can protect image ownership and prevent malicious misuse of visual generative models. However, existing generative watermarking methods are mainly designed for diffusion models while watermarking for autoregressive image generation models remains largely underexplored. We propose IndexMark, a training-free watermarking framework for autoregressive image generation models. IndexMark is inspired by the redundancy property of the codebook: replacing autoregressively generated indices with similar indices produces negligible visual differences. The core component in IndexMark is a simple yet effective match-then-replace method, which carefully selects watermark tokens from the codebook based on token similarity, and promotes the use of watermark tokens through token replacement, thereby embedding the watermark without affecting the image quality. Watermark verification is achieved by calculating the proportion of watermark tokens in generated images, with precision further improved by an Index Encoder. Furthermore, we introduce an auxiliary validation scheme to enhance robustness against cropping attacks. Experiments demonstrate that IndexMark achieves state-of-the-art performance in terms of image quality and verification accuracy, and exhibits robustness against various perturbations, including cropping, noises, Gaussian blur, random erasing, color jittering, and JPEG compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google