Intellectual Property Protection of Diffusion Models via the Watermark Diffusion Process

要約

今日の需要の増大を考慮すると、拡散モデルは急速にディープジェネレーティブアーキテクチャの重要な部分になりました。
大規模で高性能の拡散モデルを入手するには多大なリソースが必要であり、保護する価値のある知的財産としての重要性が強調されています。
しかし、所有権を検証するための既存の透かし技術は、拡散モデルに適用する場合には不十分です。
透かし拡散モデルに関するごく最近の研究では、タスク生成中に透かしが露出して知覚不可能性が損なわれるか、透かしをトリガーするためのプロンプトを必要とする条件付き拡散モデル用に開発されています。
この文書では、タスク生成中に透かしをインプリントしない、拡散モデル用の新しい透かしソリューションである WDM を紹介します。
これには、タスク生成のための標準的な拡散プロセスと並行して、ウォーターマークを埋め込むためのウォーターマーク拡散プロセス (WDP) を同時に学習するモデルのトレーニングが含まれます。
WDP トレーニングとサンプリングの詳細な理論分析を提供し、同じ逆ノイズを介したシフトされたガウス拡散プロセスに関連付けます。
さまざまなトリガーおよびウォーターマーク データ構成におけるアプローチの有効性と堅牢性を検証するために、広範な実験が行われています。

要約(オリジナル)

Diffusion models have rapidly become a vital part of deep generative architectures, given today’s increasing demands. Obtaining large, high-performance diffusion models demands significant resources, highlighting their importance as intellectual property worth protecting. However, existing watermarking techniques for ownership verification are insufficient when applied to diffusion models. Very recent research in watermarking diffusion models either exposes watermarks during task generation, which harms the imperceptibility, or is developed for conditional diffusion models that require prompts to trigger the watermark. This paper introduces WDM, a novel watermarking solution for diffusion models without imprinting the watermark during task generation. It involves training a model to concurrently learn a Watermark Diffusion Process (WDP) for embedding watermarks alongside the standard diffusion process for task generation. We provide a detailed theoretical analysis of WDP training and sampling, relating it to a shifted Gaussian diffusion process via the same reverse noise. Extensive experiments are conducted to validate the effectiveness and robustness of our approach in various trigger and watermark data configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google