Securing Deep Generative Models with Universal Adversarial Signature

要約

深層生成モデルの最近の進歩により、高品質でリアルな画像を合成できる手法が開発されました。
これらのモデルは、悪用される可能性があるため、社会に脅威をもたらします。
これまでの研究では、生成された画像を検出することでこれらの脅威を軽減しようとしましたが、さまざまな生成モデルによって残された痕跡がさまざまであるため、新しいまだ見たことのない生成モデルに一般化できる汎用検出器を作成することが困難になっています。
この論文では、生成されたコンテンツをより検出し追跡しやすくするために、任意の事前トレーニングされた生成モデルに普遍的な敵対的シグネチャを注入することを提案します。
まず、各画像の知覚できない最適な署名は、敵対的トレーニングを通じて署名インジェクターによって見つけることができます。
その後、署名インジェクターによって処理された画像を使用して署名を微調整することで、署名を任意のジェネレーターに組み込むことができます。
このようにして、シグネチャに対応する検出器は、ジェネレータのアイデンティティを追跡するために任意の微調整されたジェネレータに対して再利用できます。
提案された方法は、さまざまな最先端の生成モデルを使用して FFHQ および ImageNet データセットで検証され、一貫して有望な検出率を示しています。
コードは \url{https://github.com/zengxianyu/genwm} で公開されます。

要約(オリジナル)

Recent advances in deep generative models have led to the development of methods capable of synthesizing high-quality, realistic images. These models pose threats to society due to their potential misuse. Prior research attempted to mitigate these threats by detecting generated images, but the varying traces left by different generative models make it challenging to create a universal detector capable of generalizing to new, unseen generative models. In this paper, we propose to inject a universal adversarial signature into an arbitrary pre-trained generative model, in order to make its generated contents more detectable and traceable. First, the imperceptible optimal signature for each image can be found by a signature injector through adversarial training. Subsequently, the signature can be incorporated into an arbitrary generator by fine-tuning it with the images processed by the signature injector. In this way, the detector corresponding to the signature can be reused for any fine-tuned generator for tracking the generator identity. The proposed method is validated on the FFHQ and ImageNet datasets with various state-of-the-art generative models, consistently showing a promising detection rate. Code will be made publicly available at \url{https://github.com/zengxianyu/genwm}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google