TalkingHeadBench: A Multi-Modal Benchmark & Analysis of Talking-Head DeepFake Detection

要約

高度な生成モデルによって促進されたトーキングヘッドディープファークジェネレーションの急速な進歩は、合成ビデオのリアリズムを、メディア、政治、金融などのドメインでかなりのリスクをもたらすレベルに引き上げました。
ただし、Deepfake Talking-Head検出の現在のベンチマークは、この進捗を反映することができず、時代遅れのジェネレーターに依存し、モデルの堅牢性と一般化に関する限られた洞察を提供します。
TalkingHeadbenchを紹介します。TalkingHeadbenchは、包括的なマルチモデルマルチジェネレーターベンチマークと、最先端の発電機の最先端の検出器のパフォーマンスを評価するために設計されたキュレーションデータセットを紹介します。
データセットには、主要な学術モデルおよび商業モデルによって統合されたディープフェイクが含まれており、アイデンティティとジェネレーターの特性の分布シフトで一般化を評価するために慎重に構築されたプロトコルを機能します。
CNN、視覚変圧器、時間モデルを含む多様な既存の検出方法のセットをベンチマークし、それらの堅牢性と一般化機能を分析します。
さらに、Grad-CAMの視覚化を使用したエラー分析を提供して、一般的な障害モードと検出器バイアスを公開します。
Talkingheadbenchは、すべてのデータスプリットとプロトコルにオープンアクセスできるhttps://huggingface.co/datasets/luchaoqi/talkingheadbenchでホストされています。
私たちのベンチマークは、急速に進化する生成技術に直面して、より堅牢で一般化可能な検出モデルへの研究を加速することを目的としています。

要約(オリジナル)

The rapid advancement of talking-head deepfake generation fueled by advanced generative models has elevated the realism of synthetic videos to a level that poses substantial risks in domains such as media, politics, and finance. However, current benchmarks for deepfake talking-head detection fail to reflect this progress, relying on outdated generators and offering limited insight into model robustness and generalization. We introduce TalkingHeadBench, a comprehensive multi-model multi-generator benchmark and curated dataset designed to evaluate the performance of state-of-the-art detectors on the most advanced generators. Our dataset includes deepfakes synthesized by leading academic and commercial models and features carefully constructed protocols to assess generalization under distribution shifts in identity and generator characteristics. We benchmark a diverse set of existing detection methods, including CNNs, vision transformers, and temporal models, and analyze their robustness and generalization capabilities. In addition, we provide error analysis using Grad-CAM visualizations to expose common failure modes and detector biases. TalkingHeadBench is hosted on https://huggingface.co/datasets/luchaoqi/TalkingHeadBench with open access to all data splits and protocols. Our benchmark aims to accelerate research towards more robust and generalizable detection models in the face of rapidly evolving generative techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google