Safe-SD: Safe and Traceable Stable Diffusion with Text Prompt Trigger for Invisible Generative Watermarking

要約

近年、安定拡散 (SD) モデルは画像合成や個人化された編集の分野で一般的に普及しており、フォトリアリスティックで前例のないさまざまな画像の生成に成功しています。
その結果、ビジュアル コンテンツ作成のためのさまざまな SD ベースのツールを開発および使用することへの広範な関心が高まっています。
ただし、AI によって作成されたコンテンツが公共のプラットフォームに公開されると、法的リスクと倫理的リスクの両方が高まる可能性があります。
この点に関して、すでに生成された画像に透かしを追加する従来の方法（つまり、後処理）は、強力な画像反転とテキスト処理により、著作権保護とコンテンツ監視の観点からジレンマ（消去または変更されるなど）に直面する可能性があります。
画像への編集技術は、SD ベースの方法で広く研究されてきました。
この研究では、テキスト駆動をサポートするための生成拡散プロセス中に、グラフィック透かし (QR コードなど) を知覚できない構造関連ピクセルに適応的に埋め込むための、安全で追跡可能な安定拡散フレームワーク (つまり、Safe-SD) を提案します。
目に見えない透かしと検出。
これまでの高コストな注入後検出のトレーニング フレームワークとは異なり、シンプルで統一されたアーキテクチャを設計することで、単一のネットワーク内でウォーターマークの注入と検出を同時にトレーニングできるようになり、使用の効率と利便性が大幅に向上します。
さらに、テキスト駆動の生成透かしをさらにサポートし、その堅牢性と高トレーサビリティを深く調査するために、ラムダ サンプリングと暗号化アルゴリズムを入念に設計し、VAE でラップされた潜在ディフューザーを微調整して、高忠実度の画像合成と高トレーサビリティのバランスをとりました。
ウォーターマーク検出。
2 つの代表的なデータセット LSUN、COCO、FFHQ に関する定量的および定性的結果を提示し、Safe-SD の最先端のパフォーマンスを実証し、以前のアプローチを大幅に上回るパフォーマンスを示します。

要約(オリジナル)

Recently, stable diffusion (SD) models have typically flourished in the field of image synthesis and personalized editing, with a range of photorealistic and unprecedented images being successfully generated. As a result, widespread interest has been ignited to develop and use various SD-based tools for visual content creation. However, the exposure of AI-created content on public platforms could raise both legal and ethical risks. In this regard, the traditional methods of adding watermarks to the already generated images (i.e. post-processing) may face a dilemma (e.g., being erased or modified) in terms of copyright protection and content monitoring, since the powerful image inversion and text-to-image editing techniques have been widely explored in SD-based methods. In this work, we propose a Safe and high-traceable Stable Diffusion framework (namely Safe-SD) to adaptively implant the graphical watermarks (e.g., QR code) into the imperceptible structure-related pixels during the generative diffusion process for supporting text-driven invisible watermarking and detection. Different from the previous high-cost injection-then-detection training framework, we design a simple and unified architecture, which makes it possible to simultaneously train watermark injection and detection in a single network, greatly improving the efficiency and convenience of use. Moreover, to further support text-driven generative watermarking and deeply explore its robustness and high-traceability, we elaborately design lambda sampling and encryption algorithm to fine-tune a latent diffuser wrapped by a VAE for balancing high-fidelity image synthesis and high-traceable watermark detection. We present our quantitative and qualitative results on two representative datasets LSUN, COCO and FFHQ, demonstrating state-of-the-art performance of Safe-SD and showing it significantly outperforms the previous approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google