Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

要約

生成モデルの出力に透かしを入れることは、著作権を追跡し、AI によって生成されたコンテンツによる潜在的な危害を防ぐための重要な技術です。
この論文では、拡散モデルの出力を堅牢にフィンガープリントする、年輪透かしと呼ばれる新しい技術を紹介します。
サンプリング後に画像に事後的な変更を実行する既存の方法とは異なり、年輪透かしはサンプリング プロセス全体に微妙に影響を与え、その結果、人間には見えないモデルのフィンガープリントが得られます。
透かしは、サンプリングに使用される初期ノイズ ベクトルにパターンを埋め込みます。
これらのパターンはフーリエ空間で構造化されているため、畳み込み、クロップ、膨張、反転、回転に対して不変です。
画像生成後、拡散プロセスを逆にしてノイズ ベクトルを取得することで透かし信号が検出され、埋め込まれた信号がチェックされます。
この手法は、FID の損失が無視できるプラグインとして、テキスト条件付き安定拡散を含む任意の拡散モデルに簡単に適用できることを示します。
私たちのウォーターマークは意味的に画像空間に隠されており、現在展開されている代替のウォーターマークよりもはるかに堅牢です。
コードは https://github.com/YuxinWenRick/tree-ring-watermark で入手できます。

要約(オリジナル)

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at https://github.com/YuxinWenRick/tree-ring-watermark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google