A Recipe for Watermarking Diffusion Models

要約

最近、拡散モデル (DM) は、生成タスクの有利な可能性を実証しました。
フォトリアリスティックな画像の作成や編集など、ダウンストリーム アプリケーションに DM を組み込むことに幅広い関心が寄せられています。
ただし、DM の実用的な展開と前例のない力は、著作権保護や生成されたコンテンツの監視などの法的問題を引き起こします。
この点で、透かしは著作権保護とコンテンツ監視のための実績のあるソリューションですが、DM の文献では十分に検討されていません。
具体的には、DM はより長いトラックからサンプルを生成し、新しく設計されたマルチモーダル構造を持つ可能性があるため、従来の透かしパイプラインの変更が必要になります。
この目的のために、包括的な分析を実施し、ゼロからのトレーニングまたは微調整を通じて、最先端の DM (安定拡散など) に効率的に透かしを入れるためのレシピを導き出します。
私たちのレシピは簡単ですが、経験的に除去された実装の詳細が含まれており、透かし DM に関する将来の研究のための強固な基盤を提供します。
私たちのコード: https://github.com/yunqing-me/WatermarkDM.

要約(オリジナル)

Recently, diffusion models (DMs) have demonstrated their advantageous potential for generative tasks. Widespread interest exists in incorporating DMs into downstream applications, such as producing or editing photorealistic images. However, practical deployment and unprecedented power of DMs raise legal issues, including copyright protection and monitoring of generated content. In this regard, watermarking has been a proven solution for copyright protection and content monitoring, but it is underexplored in the DMs literature. Specifically, DMs generate samples from longer tracks and may have newly designed multimodal structures, necessitating the modification of conventional watermarking pipelines. To this end, we conduct comprehensive analyses and derive a recipe for efficiently watermarking state-of-the-art DMs (e.g., Stable Diffusion), via training from scratch or finetuning. Our recipe is straightforward but involves empirically ablated implementation details, providing a solid foundation for future research on watermarking DMs. Our Code: https://github.com/yunqing-me/WatermarkDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google