Deepfake-Eval-2024: A Multi-Modal In-the-Wild Benchmark of Deepfakes Circulated in 2024

要約

ますます現実的に生成されるAIの時代には、詐欺と偽情報を緩和するためには、堅牢なディープファーク検出が不可欠です。
多くのDeepfake検出器は、アカデミックデータセットの高精度を報告していますが、これらのアカデミックベンチマークは時代遅れであり、最近のディープフェイクの代表ではないことを示しています。
2024年にソーシャルメディアとディープファーク検出プラットフォームユーザーから収集されたワイルドなディープフェイクで構成される新しいディープフェイク検出ベンチマークであるDeepfake-Eval-2024を紹介します。ディープファーク-Eval-2024は、44時間のビデオ、56.5時間のオーディオ、および1,975の画像で構成されています。
ベンチマークには、52の異なる言語の88の異なるWebサイトからの多様なメディアコンテンツが含まれています。
Deepfake-Eval-2024で評価されると、オープンソースの最先端のディープファーセクションモデルのパフォーマンスは、ビデオで50％、オーディオで48％、前のベンチマークと比較して画像モデルで45％減少すると、急激に低下します。
また、Deepfake-Eval-2024で微調整された商業ディープファーク検出モデルとモデルを評価し、既製のオープンソースモデルよりも優れたパフォーマンスを持っていることがわかりますが、まだ人間のディープフェイクフォレンジックアナリストの精度に達していません。
データセットはhttps://github.com/nuriachandra/deepfake-eval-2024で入手できます。

要約(オリジナル)

In the age of increasingly realistic generative AI, robust deepfake detection is essential for mitigating fraud and disinformation. While many deepfake detectors report high accuracy on academic datasets, we show that these academic benchmarks are out of date and not representative of recent deepfakes. We introduce Deepfake-Eval-2024, a new deepfake detection benchmark consisting of in-the-wild deepfakes collected from social media and deepfake detection platform users in 2024. Deepfake-Eval-2024 consists of 44 hours of videos, 56.5 hours of audio, and 1,975 images, encompassing the latest manipulation technologies. The benchmark contains diverse media content from 88 different websites in 52 different languages. We find that the performance of open-source state-of-the-art deepfake detection models drops precipitously when evaluated on Deepfake-Eval-2024, with AUC decreasing by 50% for video, 48% for audio, and 45% for image models compared to previous benchmarks. We also evaluate commercial deepfake detection models and models finetuned on Deepfake-Eval-2024, and find that they have superior performance to off-the-shelf open-source models, but they do not yet reach the accuracy of human deepfake forensic analysts. The dataset is available at https://github.com/nuriachandra/Deepfake-Eval-2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google