Generative Watermarking Against Unauthorized Subject-Driven Image Synthesis

要約

大規模なテキストから画像へのモデルは、高品質の画像の合成において顕著なパフォーマンスを示しています。
特に、主題駆動モデルでは、その主題からのいくつかの画像を使用して汎用のテキストから画像へのモデルを微調整することにより、特定の主題 (例: 人間の顔や芸術的スタイル) の画像合成をパーソナライズすることができます。
。
それにもかかわらず、主題主導の画像合成を誤用すると、主題所有者の権限を侵害する可能性があります。
たとえば、悪意のあるユーザーは、主題駆動合成を使用して、特定の芸術スタイルを模倣したり、許可なく偽の顔画像を作成したりする可能性があります。
このような悪用から被写体の所有者を保護するために、最近の試みでは、敵対的な例を利用して、被写体主導の画像合成を無差別に妨害することが一般的に行われています。
ただし、これにより、保護された画像に基づくサブジェクト駆動合成の無害な使用が本質的に妨げられます。
本稿では、別の角度から、一般的な合成目的での保護された画像の有用性を犠牲にすることなく保護することを目指します。
具体的には、透かし生成器と検出器の共同学習に基づく新しい透かしシステムである GenWatermark を提案します。
特に、ウォーターマークが被写体主導の合成に耐えられるようにするために、特定の被写体向けに合成画像を使用して検出器を微調整することにより、GenWatermark の学習に合成プロセスを組み込んでいます。
この操作により、透かしの検出精度が大幅に向上し、個々の被験者に対する透かしの一意性も保証されることが示されています。
広範な実験により、特に未知のモデルとテキスト プロンプト (74% の精度) および部分的なデータの透かし (1/4 透かしの場合 80% の精度) を使用した実用的なシナリオで、GenWatermark の有効性が検証されています。
また、合成品質を大幅に低下させる 2 つの潜在的な対策に対する GenWatermark の堅牢性も示します。

要約(オリジナル)

Large text-to-image models have shown remarkable performance in synthesizing high-quality images. In particular, the subject-driven model makes it possible to personalize the image synthesis for a specific subject, e.g., a human face or an artistic style, by fine-tuning the generic text-to-image model with a few images from that subject. Nevertheless, misuse of subject-driven image synthesis may violate the authority of subject owners. For example, malicious users may use subject-driven synthesis to mimic specific artistic styles or to create fake facial images without authorization. To protect subject owners against such misuse, recent attempts have commonly relied on adversarial examples to indiscriminately disrupt subject-driven image synthesis. However, this essentially prevents any benign use of subject-driven synthesis based on protected images. In this paper, we take a different angle and aim at protection without sacrificing the utility of protected images for general synthesis purposes. Specifically, we propose GenWatermark, a novel watermark system based on jointly learning a watermark generator and a detector. In particular, to help the watermark survive the subject-driven synthesis, we incorporate the synthesis process in learning GenWatermark by fine-tuning the detector with synthesized images for a specific subject. This operation is shown to largely improve the watermark detection accuracy and also ensure the uniqueness of the watermark for each individual subject. Extensive experiments validate the effectiveness of GenWatermark, especially in practical scenarios with unknown models and text prompts (74% Acc.), as well as partial data watermarking (80% Acc. for 1/4 watermarking). We also demonstrate the robustness of GenWatermark to two potential countermeasures that substantially degrade the synthesis quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google