A Training-Free Plug-and-Play Watermark Framework for Stable Diffusion

要約

現在、Stable Diffusion (SD) モデルのファミリーは、その高品質な出力とスケーラビリティにより有名になっています。
これにより、悪意のあるユーザーが有害なコンテンツを作成して拡散する可能性があるため、ソーシャルメディア上でのセキュリティ上の懸念も生じています。
既存のアプローチには、トレーサビリティと責任の帰属を目的として生成された画像に透かしを埋め込むようにコンポーネントまたは SD 全体をトレーニングすることが含まれます。
ただし、AI 生成コンテンツ (AIGC) の時代では、SD が急速に反復されるため、ウォーターマーク モデルを使用した再トレーニングにはコストがかかります。
これに対処するために、SD 用のトレーニング不要のプラグアンドプレイ ウォーターマーク フレームワークを提案します。
SD のコンポーネントを一切変更せずに、ノイズ除去プロセスに適応して、潜在空間にさまざまな透かしを埋め込みます。
私たちの実験結果は、私たちの方法が画質と透かしの不可視性を効果的に調和させることを明らかにしています。
さらに、さまざまな攻撃に対して堅牢なパフォーマンスを発揮します。
また、ウォーターマーク モデルを再トレーニングしなくても、私たちの方法が SD の複数のバージョンに一般化されることも検証しました。

要約(オリジナル)

Nowadays, the family of Stable Diffusion (SD) models has gained prominence for its high quality outputs and scalability. This has also raised security concerns on social media, as malicious users can create and disseminate harmful content. Existing approaches involve training components or entire SDs to embed a watermark in generated images for traceability and responsibility attribution. However, in the era of AI-generated content (AIGC), the rapid iteration of SDs renders retraining with watermark models costly. To address this, we propose a training-free plug-and-play watermark framework for SDs. Without modifying any components of SDs, we embed diverse watermarks in the latent space, adapting to the denoising process. Our experimental findings reveal that our method effectively harmonizes image quality and watermark invisibility. Furthermore, it performs robustly under various attacks. We also have validated that our method is generalized to multiple versions of SDs, even without retraining the watermark model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google