RepMix: Representation Mixing for Robust Attribution of Synthesized Images

要約

Generative Adversarial Networks (GANs)の急速な発展により、画像の帰属に関する新たな課題が提起されている。すなわち、画像が合成であるかどうかを検出し、合成であれば、どのGANアーキテクチャによって作成されたかを決定する。我々は、この課題に対して、1）画像の意味内容に依存しないマッチング、2）画像がオンラインで再共有される際によく遭遇する良性の変換（品質、解像度、形状などの変化）に対して頑健なソリューションを提示する。本研究を具体化するために、ロバストで実用的な画像帰属のためのベンチマークであるAttribution88を収集する。次に、表現混合と新しい損失に基づく我々のGANフィンガープリント技術であるRepMixを提案する。我々は、画像の意味内容に対して不変であり、かつ摂動に対してロバストなGAN生成画像の出所を追跡する能力を検証する。我々のアプローチは、意味的な汎化性と頑健性の両方において、既存のGANフィンガープリントの作品から大幅に向上していることを示す。データとコードは https://github.com/TuBui/image_attribution で入手可能。

要約(オリジナル)

Rapid advances in Generative Adversarial Networks (GANs) raise new challenges for image attribution; detecting whether an image is synthetic and, if so, determining which GAN architecture created it. Uniquely, we present a solution to this task capable of 1) matching images invariant to their semantic content; 2) robust to benign transformations (changes in quality, resolution, shape, etc.) commonly encountered as images are re-shared online. In order to formalize our research, a challenging benchmark, Attribution88, is collected for robust and practical image attribution. We then propose RepMix, our GAN fingerprinting technique based on representation mixing and a novel loss. We validate its capability of tracing the provenance of GAN-generated images invariant to the semantic content of the image and also robust to perturbations. We show our approach improves significantly from existing GAN fingerprinting works on both semantic generalization and robustness. Data and code are available at https://github.com/TuBui/image_attribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL