Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes

要約

セキュリティとプライバシーに対するディープフェイクの脅威が増大しているため、堅牢で信頼性の高い検出器を開発することが最も重要です。
この論文では、このような検出器のトレーニング データセットにおける高品質のサンプルの必要性を検討します。
したがって、複数の研究データセットでうまく一般化できることが証明されたディープフェイク検出器は、巧妙に作成されたフェイクに対して現実世界のシナリオでは依然として苦戦していることを示します。
まず、高度な顔ブレンディング技術と並行して顔交換のための新しいオートエンコーダを提案し、これを利用して 90 個の高品質ディープフェイクを生成します。
次に、それらの偽物を最先端の検出器に送り込み、そのパフォーマンスを大幅に低下させます。
さらに、偽物の検出器を微調整し、偽造品に改ざんを検出するための有用な手がかりが含まれていることを実証します。
全体として、私たちの結果はディープフェイク検出器の一般化についての洞察を提供し、単なる研究データでのトレーニングでは不十分であるため、ディープフェイク検出器のトレーニング データセットを高品質のフェイクで補完する必要があることを示唆しています。

要約(オリジナル)

Due to the rising threat of deepfakes to security and privacy, it is most important to develop robust and reliable detectors. In this paper, we examine the need for high-quality samples in the training datasets of such detectors. Accordingly, we show that deepfake detectors proven to generalize well on multiple research datasets still struggle in real-world scenarios with well-crafted fakes. First, we propose a novel autoencoder for face swapping alongside an advanced face blending technique, which we utilize to generate 90 high-quality deepfakes. Second, we feed those fakes to a state-of-the-art detector, causing its performance to decrease drastically. Moreover, we fine-tune the detector on our fakes and demonstrate that they contain useful clues for the detection of manipulations. Overall, our results provide insights into the generalization of deepfake detectors and suggest that their training datasets should be complemented by high-quality fakes since training on mere research data is insufficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google