Attack-Resilient Image Watermarking Using Stable Diffusion

要約

画像に透かしを入れることは、画像の出所を追跡し、所有権を証明するために重要です。
安定拡散など、偽物だがリアルな画像を作成できる生成モデルの出現により、人間が作成した画像を確実に識別できるようにするために透かし入れが特に重要になっています。
残念ながら、まったく同じ安定した拡散技術でも、既存の方法を使用して注入されたウォーターマークを除去できます。
この問題に対処するために、事前にトレーニングされた安定した拡散モデルを使用してトレーニング可能な潜在空間にウォーターマークを注入する ZoDiac を提案します。その結果、攻撃された場合でも潜在ベクトルで確実に検出できるウォーターマークが得られます。
MS-COCO、DiffusionDB、WikiArt の 3 つのベンチマークで ZoDiac を評価したところ、ZoDiac は最先端の透かし攻撃に対して堅牢であり、透かし検出率は 98% 以上、誤検知率は 6.4% 未満であることがわかりました。
最先端の透かし入れ方法を上回るパフォーマンスを発揮します。
我々は、拡散モデルにおける往復ノイズ除去プロセスが、強力な攻撃に直面した場合の透かしの堅牢性を本質的に強化する可能性があると仮説を立て、その仮説を検証します。
私たちの研究は、安定拡散が堅牢な透かし埋め込みへの有望なアプローチであり、安定拡散ベースの攻撃手法にも耐えることができることを示しています。
ZoDiac はオープンソースであり、https://github.com/zhanglijun95/ZoDiac から入手できます。

要約(オリジナル)

Watermarking images is critical for tracking image provenance and proving ownership. With the advent of generative models, such as stable diffusion, that can create fake but realistic images, watermarking has become particularly important to make human-created images reliably identifiable. Unfortunately, the very same stable diffusion technology can remove watermarks injected using existing methods. To address this problem, we present ZoDiac, which uses a pre-trained stable diffusion model to inject a watermark into the trainable latent space, resulting in watermarks that can be reliably detected in the latent vector even when attacked. We evaluate ZoDiac on three benchmarks, MS-COCO, DiffusionDB, and WikiArt, and find that ZoDiac is robust against state-of-the-art watermark attacks, with a watermark detection rate above 98% and a false positive rate below 6.4%, outperforming state-of-the-art watermarking methods. We hypothesize that the reciprocating denoising process in diffusion models may inherently enhance the robustness of the watermark when faced with strong attacks and validate the hypothesis. Our research demonstrates that stable diffusion is a promising approach to robust watermarking, able to withstand even stable-diffusion–based attack methods. ZoDiac is open-sourced and available at https://github.com/zhanglijun95/ZoDiac.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google