Deepfake Detection: A Comparative Analysis

要約

この論文では、ディープフェイク検出のための教師付きモデルと自己教師付きモデルの包括的な比較分析を示します。
8 つの教師あり深層学習アーキテクチャと、自己教師あり戦略 (DINO、CLIP) を使用して事前トレーニングされた 2 つのトランスフォーマー ベースのモデルを 4 つのベンチマーク (FakeAVCeleb、CelebDF-V2、DFDC、および FaceForensics++) で評価します。
私たちの分析には、データセット内およびデータセット間の評価が含まれており、最もパフォーマンスの高いモデル、一般化機能、拡張の影響を調査します。
また、モデルのサイズとパフォーマンスの間のトレードオフについても調査します。
私たちの主な目標は、さまざまな深層学習アーキテクチャ (トランスフォーマー、CNN)、トレーニング戦略 (教師あり、自己教師あり)、およびディープフェイク検出ベンチマークの有効性に関する洞察を提供することです。
これらの洞察は、個人や社会に対するディープフェイクの悪影響を軽減する上で重要な、より正確で信頼性の高いディープフェイク検出システムの開発に役立ちます。

要約(オリジナル)

This paper present a comprehensive comparative analysis of supervised and self-supervised models for deepfake detection. We evaluate eight supervised deep learning architectures and two transformer-based models pre-trained using self-supervised strategies (DINO, CLIP) on four benchmarks (FakeAVCeleb, CelebDF-V2, DFDC, and FaceForensics++). Our analysis includes intra-dataset and inter-dataset evaluations, examining the best performing models, generalisation capabilities, and impact of augmentations. We also investigate the trade-off between model size and performance. Our main goal is to provide insights into the effectiveness of different deep learning architectures (transformers, CNNs), training strategies (supervised, self-supervised), and deepfake detection benchmarks. These insights can help guide the development of more accurate and reliable deepfake detection systems, which are crucial in mitigating the harmful impact of deepfakes on individuals and society.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google