Beyond Detection: Visual Realism Assessment of Deepfakes

要約

急速なデジタル化と人工知能の進歩の時代において、ディープフェイク技術の開発はセキュリティとプライバシーに重大な懸念を引き起こしています。
この論文では、ディープフェイクビデオの視覚的リアリズムを評価するための効果的な尺度を紹介します。
Eva と ConvNext という 2 つの畳み込みニューラル ネットワーク (CNN) モデルのアンサンブルを利用します。
これらのモデルは、DeepFake Game Competition (DFGC) 2022 データセットでトレーニングされており、一連のフレームから抽出された特徴に基づいて DeepFake ビデオから平均オピニオン スコア (MOS) を予測することを目的としています。
私たちの手法は、2023年バイオメトリクス国際合同会議（IJCB 2023）と併せて開催された、視覚的リアリズム評価に関する最近のDFGCで3位を確保しました。
モデル、データの前処理、トレーニング手順の概要を提供します。
また、競合他社のベースライン モデルに対する当社のモデルのパフォーマンスを報告し、調査結果の意味についても議論します。

要約(オリジナル)

In the era of rapid digitalization and artificial intelligence advancements, the development of DeepFake technology has posed significant security and privacy concerns. This paper presents an effective measure to assess the visual realism of DeepFake videos. We utilize an ensemble of two Convolutional Neural Network (CNN) models: Eva and ConvNext. These models have been trained on the DeepFake Game Competition (DFGC) 2022 dataset and aim to predict Mean Opinion Scores (MOS) from DeepFake videos based on features extracted from sequences of frames. Our method secured the third place in the recent DFGC on Visual Realism Assessment held in conjunction with the 2023 International Joint Conference on Biometrics (IJCB 2023). We provide an over\-view of the models, data preprocessing, and training procedures. We also report the performance of our models against the competition’s baseline model and discuss the implications of our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google