T2IW: Joint Text to Image & Watermark Generation

要約

テキスト条件付き画像生成モデルの最近の開発は、リアルな結果の生成に革命をもたらしました。
残念ながら、これによりプライバシー侵害や虚偽情報の拡散も増加しており、トレーサビリティ、プライバシー保護、その他のセキュリティ対策が必要となっています。
ただし、既存のテキストから画像へのパラダイムには、追跡可能なメッセージと画像生成をリンクする技術的機能がありません。
この研究では、テキストと画像と透かしを共同生成する新しいタスク (T2IW) を紹介します。
この T2IW スキームは、セマンティック特徴と透かし信号のピクセル単位の互換性を強制することで、複合画像を生成する際に画質へのダメージを最小限に抑えます。
さらに、シャノン情報理論と非協力ゲーム理論の原理を利用することにより、複合画像から暴露された画像と暴露された透かしを分離することができます。
さらに、公開されたウォーターマークで観察されるピクセルの歪みを最小限に抑えながら、複合画像をさまざまな後処理攻撃にさらすことで、アプローチのウォーターマークの堅牢性を強化します。
広範な実験により、画質、透かしの非表示性、および透かしの堅牢性において顕著な成果が得られたことが実証されており、これは私たちが提案した一連の評価指標によって裏付けられています。

要約(オリジナル)

Recent developments in text-conditioned image generative models have revolutionized the production of realistic results. Unfortunately, this has also led to an increase in privacy violations and the spread of false information, which requires the need for traceability, privacy protection, and other security measures. However, existing text-to-image paradigms lack the technical capabilities to link traceable messages with image generation. In this study, we introduce a novel task for the joint generation of text to image and watermark (T2IW). This T2IW scheme ensures minimal damage to image quality when generating a compound image by forcing the semantic feature and the watermark signal to be compatible in pixels. Additionally, by utilizing principles from Shannon information theory and non-cooperative game theory, we are able to separate the revealed image and the revealed watermark from the compound image. Furthermore, we strengthen the watermark robustness of our approach by subjecting the compound image to various post-processing attacks, with minimal pixel distortion observed in the revealed watermark. Extensive experiments have demonstrated remarkable achievements in image quality, watermark invisibility, and watermark robustness, supported by our proposed set of evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google