Deepfake Detection with Deep Learning: Convolutional Neural Networks versus Transformers

要約

タイトル：深層学習によるDeepfake検出：畳み込みニューラルネットワークとトランスフォーマーの比較

要約：
– 深層学習技術の急速な発展は、メディア情報の信頼性を深刻に脅かしています。
– この論文では、畳み込みニューラルネットワーク（CNN）とトランスフォーマーの進化について研究し、8つの有望な深層学習アーキテクチャを特定し、深層偽装検出モデルを設計および開発し、主要な深層偽装データセットで実験を実施しました。
– これらのデータセットには、最新の第2世代および第3世代のDeepfakeデータセットが含まれます。
– 独自開発した単一モデル検出器の有効性を評価し、データセットを跨いでの評価も行いました。
– FF ++ 2020、Google DFD、Celeb-DF、Deeper Forensics、およびDFDC Deepfakeの検出において、それぞれ88.74％、99.53％、97.68％、99.73％、および92.02％の精度と99.95％、100％、99.88％、99.99％、および97.61％のAUCを達成しました。
– また、CNNとトランスフォーマーモデルの独自の強みを特定し、異なるDeepfakeデータセット間の関係を分析して、今後の発展に役立てることができるようにしました。

要約(オリジナル)

The rapid evolvement of deepfake creation technologies is seriously threating media information trustworthiness. The consequences impacting targeted individuals and institutions can be dire. In this work, we study the evolutions of deep learning architectures, particularly CNNs and Transformers. We identified eight promising deep learning architectures, designed and developed our deepfake detection models and conducted experiments over well-established deepfake datasets. These datasets included the latest second and third generation deepfake datasets. We evaluated the effectiveness of our developed single model detectors in deepfake detection and cross datasets evaluations. We achieved 88.74%, 99.53%, 97.68%, 99.73% and 92.02% accuracy and 99.95%, 100%, 99.88%, 99.99% and 97.61% AUC, in the detection of FF++ 2020, Google DFD, Celeb-DF, Deeper Forensics and DFDC deepfakes, respectively. We also identified and showed the unique strengths of CNNs and Transformers models and analysed the observed relationships among the different deepfake datasets, to aid future developments in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI