Undercover Deepfakes: Detecting Fake Segments in Videos

要約

【タイトル】
動画の偽のセグメントを検出するアンダーカバーDeepfake

【要約】
– 最近の生成モデルの復興は、拡散モデルの登場とGAN方法の反復改善によって主に推進され、多くの創造的なアプリケーションが可能になりました。
– しかし、各進歩は、悪用の可能性の上昇と共に出現します。
– 深層偽造生成の分野では、これが重要な社会的問題です。
– 特に、このような生成手法を使用して動画のセグメントを変更できる能力は、真実を歪めるために僅かに変更されたほとんど実在の動画の新しいディープフェイクのパラダイムを作成します。
– 学術文献にある現在のディープフェイク検出方法は、このパラダイムで評価されていません。
– 本論文では、フレームレベルとビデオレベルの両方のディープフェイク予測を行うことができるディープフェイク検出方法を提供し、この問題に対処します。
– テストを容易にするために、本研究では、ビデオに実在のものとフェイクのフレームシーケンスがある新しいベンチマークデータセットを作成します。
– メソッドは、ビジョントランスフォーマー、スケーリング＆シフトプレトレーニング、およびタイムシリーズトランスフォーマーを使用して、動画を時間的にセグメント化し、可能なディープフェイクの解釈を容易にします。
– 様々なディープフェイク生成方法に対する広範な実験では、時間的セグメンテーションと古典的なビデオレベルの予測に優れた結果を示します。
– 特に、導入するパラダイムは、ディープフェイクのモデレーションの強力なツールを形成し、人間の監視がディープフェイクの疑いがある動画の一部により的確にできるようにします。

要約(オリジナル)

The recent renaissance in generative models, driven primarily by the advent of diffusion models and iterative improvement in GAN methods, has enabled many creative applications. However, each advancement is also accompanied by a rise in the potential for misuse. In the arena of deepfake generation this is a key societal issue. In particular, the ability to modify segments of videos using such generative techniques creates a new paradigm of deepfakes which are mostly real videos altered slightly to distort the truth. Current deepfake detection methods in the academic literature are not evaluated on this paradigm. In this paper, we present a deepfake detection method able to address this issue by performing both frame and video level deepfake prediction. To facilitate testing our method we create a new benchmark dataset where videos have both real and fake frame sequences. Our method utilizes the Vision Transformer, Scaling and Shifting pretraining and Timeseries Transformer to temporally segment videos to help facilitate the interpretation of possible deepfakes. Extensive experiments on a variety of deepfake generation methods show excellent results on temporal segmentation and classical video level predictions as well. In particular, the paradigm we introduce will form a powerful tool for the moderation of deepfakes, where human oversight can be better targeted to the parts of videos suspected of being deepfakes. All experiments can be reproduced at: https://github.com/sanjaysaha1311/temporal-deepfake-segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI