Detect Fake with Fake: Leveraging Synthetic Data-driven Representation for Synthetic Image Detection

要約

合成データのみから取得された汎用の視覚表現は、偽画像の検出に役立ちますか?
この研究では、合成画像検出における合成データ駆動型表現の有効性を示します。
分析の結果、合成データを使用して最新の視覚表現学習者によってトレーニングされたビジョン トランスフォーマーは、事前トレーニング中に実際の画像を見なくても、偽物と本物の画像を効果的に区別できることがわかりました。
特に、最先端の検出方法のバックボーンとして SynCLR を使用すると、これまで見たことのない GAN モデルでテストした場合、広く使用されている CLIP と比較して +10.32 mAP のパフォーマンス向上と +4.73% の精度が実証されました。
コードは https://github.com/cvpaperchallenge/detect-fake-with-fake で入手できます。

要約(オリジナル)

Are general-purpose visual representations acquired solely from synthetic data useful for detecting fake images? In this work, we show the effectiveness of synthetic data-driven representations for synthetic image detection. Upon analysis, we find that vision transformers trained by the latest visual representation learners with synthetic data can effectively distinguish fake from real images without seeing any real images during pre-training. Notably, using SynCLR as the backbone in a state-of-the-art detection method demonstrates a performance improvement of +10.32 mAP and +4.73% accuracy over the widely used CLIP, when tested on previously unseen GAN models. Code is available at https://github.com/cvpaperchallenge/detect-fake-with-fake.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google