Unmasking Deepfake Faces from Videos Using An Explainable Cost-Sensitive Deep Learning Approach

要約

ディープフェイク技術が広く使用されているため、デジタルメディアの信頼性について深刻な懸念が生じており、信頼できるディープフェイク顔認識技術の必要性がこれまで以上に緊急になっています。
この研究では、リソース効率が高く、透明性があり、コスト重視のディープラーニング手法を採用して、ビデオ内のディープフェイク顔を効果的に検出します。
信頼性の高いディープフェイク検出システムを作成するために、事前トレーニングされた 4 つの畳み込みニューラル ネットワーク (CNN) モデル、XceptionNet、InceptionResNetV2、EfficientNetV2S、および EfficientNetV2M が使用されました。
FaceForensics++ および CelebDf-V2 をベンチマーク データセットとして使用して、メソッドのパフォーマンスを評価しました。
ビデオデータを効率的に処理するために、特徴抽出手法としてキーフレーム抽出が使用されました。
私たちの主な貢献は、ビデオ内のディープフェイクの顔を正しく識別する際のモデルの適応性と有効性を示すことです。
さらに、ディープフェイク検出で頻繁に発生するデータセットの不均衡の問題を解決するために、コスト重視のニューラル ネットワーク手法が適用されました。
CelebDf-V2 データセットの XceptionNet モデルは、提案された方法論に 98% の精度を与え、これは可能な最高の精度でしたが、InceptionResNetV2 モデルは、FaceForensics++ データセットで 94% の精度を達成しました。
ソースコード: https://github.com/Faysal-MD/Unmasking-Deepfake-Faces-from-Videos-An-Explainable-Cost-Sensitive-Deep-Learning-Approach-IEEE2023

要約(オリジナル)

Deepfake technology is widely used, which has led to serious worries about the authenticity of digital media, making the need for trustworthy deepfake face recognition techniques more urgent than ever. This study employs a resource-effective and transparent cost-sensitive deep learning method to effectively detect deepfake faces in videos. To create a reliable deepfake detection system, four pre-trained Convolutional Neural Network (CNN) models: XceptionNet, InceptionResNetV2, EfficientNetV2S, and EfficientNetV2M were used. FaceForensics++ and CelebDf-V2 as benchmark datasets were used to assess the performance of our method. To efficiently process video data, key frame extraction was used as a feature extraction technique. Our main contribution is to show the models adaptability and effectiveness in correctly identifying deepfake faces in videos. Furthermore, a cost-sensitive neural network method was applied to solve the dataset imbalance issue that arises frequently in deepfake detection. The XceptionNet model on the CelebDf-V2 dataset gave the proposed methodology a 98% accuracy, which was the highest possible whereas, the InceptionResNetV2 model, achieves an accuracy of 94% on the FaceForensics++ dataset. Source Code: https://github.com/Faysal-MD/Unmasking-Deepfake-Faces-from-Videos-An-Explainable-Cost-Sensitive-Deep-Learning-Approach-IEEE2023

arxiv情報

提供元, 利用サービス

arxiv.jp, Google