GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning

要約

フォトリアリスティック ジェネレーターの急速な進歩により、本物の画像と加工された画像の間の差異がますます見分けられなくなる重大な局面に達しました。
したがって、デジタル操作を検出するベンチマークと技術の進歩が緊急の課題となっています。
公開されている顔偽造データセットは多数ありますが、偽造顔のほとんどは GAN ベースの合成技術を使用して生成されており、拡散などの最新技術は使用されていません。
拡散モデルによって生成される画像の多様性と品質は大幅に向上しているため、SOTA 偽造検出文献を評価するには、より困難な顔偽造データセットが使用されます。
この論文では、ディープフェイク検出の進歩を促進するために、大規模で多様かつきめの細かい高忠実度のデータセット、すなわち GenFace を提案します。このデータセットには、拡散などの高度なジェネレーターによって生成された大量の偽造顔が含まれています。
ベースのモデルと、操作アプローチと採用されたジェネレーターに関する詳細なラベル。
ベンチマークでの SOTA アプローチの評価に加えて、革新的なクロスアピアランスエッジ学習 (CAEL) 検出器を設計して、マルチグレインの外観とエッジのグローバル表現をキャプチャし、識別的および一般的な偽造の痕跡を検出します。
さらに、2 つのドメインにわたるさまざまな統合を調査するために、アピアランス エッジ クロス アテンション (AECA) モジュールを考案しました。
広範な実験結果と視覚化により、クロスジェネレーター、クロスフォージェリ、クロスデータセット評価などのさまざまな設定において、当社の検出モデルが最先端のパフォーマンスを上回っていることが示されています。
コードとデータセットは \url{https://github.com/Jenine-321/GenFace で入手できます。

要約(オリジナル)

The rapid advancement of photorealistic generators has reached a critical juncture where the discrepancy between authentic and manipulated images is increasingly indistinguishable. Thus, benchmarking and advancing techniques detecting digital manipulation become an urgent issue. Although there have been a number of publicly available face forgery datasets, the forgery faces are mostly generated using GAN-based synthesis technology, which does not involve the most recent technologies like diffusion. The diversity and quality of images generated by diffusion models have been significantly improved and thus a much more challenging face forgery dataset shall be used to evaluate SOTA forgery detection literature. In this paper, we propose a large-scale, diverse, and fine-grained high-fidelity dataset, namely GenFace, to facilitate the advancement of deepfake detection, which contains a large number of forgery faces generated by advanced generators such as the diffusion-based model and more detailed labels about the manipulation approaches and adopted generators. In addition to evaluating SOTA approaches on our benchmark, we design an innovative cross appearance-edge learning (CAEL) detector to capture multi-grained appearance and edge global representations, and detect discriminative and general forgery traces. Moreover, we devise an appearance-edge cross-attention (AECA) module to explore the various integrations across two domains. Extensive experiment results and visualizations show that our detection model outperforms the state of the arts on different settings like cross-generator, cross-forgery, and cross-dataset evaluations. Code and datasets will be available at \url{https://github.com/Jenine-321/GenFace

arxiv情報

提供元, 利用サービス

arxiv.jp, Google