Undercover Deepfakes: Detecting Fake Segments in Videos

要約

主に拡散モデルの出現と GAN 手法の反復的改善によって推進された最近の生成モデルの復活により、多くの創造的なアプリケーションが可能になりました。
しかし、進歩するたびに、悪用の可能性も高まります。
ディープフェイク生成の分野では、これは重要な社会問題です。
特に、このような生成技術を使用してビデオのセグメントを変更できる機能は、ほとんどが本物のビデオをわずかに変更して真実を歪めるというディープフェイクの新しいパラダイムを生み出します。
学術文献における現在のディープフェイク検出方法は、このパラダイムに基づいて評価されていません。
この論文では、フレーム レベルとビデオ レベルの両方のディープフェイク予測を実行することで、この問題に対処できるディープフェイク検出方法を紹介します。
私たちの方法のテストを容易にするために、ビデオに本物のフレーム シーケンスと偽のフレーム シーケンスの両方が含まれる新しいベンチマーク データセットを作成します。
私たちの手法では、Vision Transformer、Scaling and Shifting pretraining、Timeseries Transformer を利用してビデオを時間的にセグメント化し、ディープフェイクの可能性の解釈を容易にします。
さまざまなディープフェイク生成方法に関する広範な実験により、時間セグメンテーションと古典的なビデオ レベルの予測に関しても優れた結果が示されています。
特に、私たちが導入するパラダイムは、ディープフェイクを管理するための強力なツールを形成し、ディープフェイクの疑いがあるビデオの部分に人間の監視をより適切に集中させることができます。
すべての実験は https://github.com/sanjaysaha1311/temporal-deepfake-segmentation で再現できます。

要約(オリジナル)

The recent renaissance in generative models, driven primarily by the advent of diffusion models and iterative improvement in GAN methods, has enabled many creative applications. However, each advancement is also accompanied by a rise in the potential for misuse. In the arena of deepfake generation this is a key societal issue. In particular, the ability to modify segments of videos using such generative techniques creates a new paradigm of deepfakes which are mostly real videos altered slightly to distort the truth. Current deepfake detection methods in the academic literature are not evaluated on this paradigm. In this paper, we present a deepfake detection method able to address this issue by performing both frame and video level deepfake prediction. To facilitate testing our method we create a new benchmark dataset where videos have both real and fake frame sequences. Our method utilizes the Vision Transformer, Scaling and Shifting pretraining and Timeseries Transformer to temporally segment videos to help facilitate the interpretation of possible deepfakes. Extensive experiments on a variety of deepfake generation methods show excellent results on temporal segmentation and classical video level predictions as well. In particular, the paradigm we introduce will form a powerful tool for the moderation of deepfakes, where human oversight can be better targeted to the parts of videos suspected of being deepfakes. All experiments can be reproduced at: https://github.com/sanjaysaha1311/temporal-deepfake-segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google