A Continual Deepfake Detection Benchmark: Dataset, Methods, and Essentials

要約

ディープフェイクを検出するためのベンチマークと技術が数多く登場しています。
ただし、現実世界のシナリオで段階的に出現するディープフェイクの検出を研究している研究はほとんどありません。
ワイルド シーンをシミュレートするために、このホワイト ペーパーでは、既知および未知の両方の生成モデルからのディープフェイクの新しいコレクションに対する継続的なディープフェイク検出ベンチマーク (CDDB) を提案しています。
提案された CDDB は、一連の適切な手段を使用して、簡単、困難、および長い一連のディープフェイク タスクに対する検出に関する複数の評価を設計します。
さらに、複数のアプローチを活用して、連続的な視覚認識で一般的に使用されるマルチクラスの増分学習方法を、連続的なディープフェイク検出の問題に適応させます。
提案されたCDDBで、適応されたものを含む既存の方法を評価します。
提案されたベンチマーク内で、標準的な継続的学習の一般的に知られているいくつかの要素を探ります。
私たちの研究は、継続的なディープフェイク検出のコンテキストで、これらの重要事項に関する新しい洞察を提供します。
提案された CDDB は、既存のベンチマークよりも明らかに挑戦的であり、将来の研究に適した評価手段を提供します。
データとコードは両方とも https://github.com/Coral79/CDDB で入手できます。

要約(オリジナル)

There have been emerging a number of benchmarks and techniques for the detection of deepfakes. However, very few works study the detection of incrementally appearing deepfakes in the real-world scenarios. To simulate the wild scenes, this paper suggests a continual deepfake detection benchmark (CDDB) over a new collection of deepfakes from both known and unknown generative models. The suggested CDDB designs multiple evaluations on the detection over easy, hard, and long sequence of deepfake tasks, with a set of appropriate measures. In addition, we exploit multiple approaches to adapt multiclass incremental learning methods, commonly used in the continual visual recognition, to the continual deepfake detection problem. We evaluate existing methods, including their adapted ones, on the proposed CDDB. Within the proposed benchmark, we explore some commonly known essentials of standard continual learning. Our study provides new insights on these essentials in the context of continual deepfake detection. The suggested CDDB is clearly more challenging than the existing benchmarks, which thus offers a suitable evaluation avenue to the future research. Both data and code are available at https://github.com/Coral79/CDDB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google