LatentForensics: Towards frugal deepfake detection in the StyleGAN latent space

要約

偽造ビデオの分類はここ数年の課題でした。
ディープフェイク分類器は、ビデオ フレームが改ざんされているかどうかを確実に予測できるようになりました。
ただし、そのパフォーマンスは、トレーニングに使用されるデータセットとアナリストの計算能力の両方に依存します。
私たちは、高品質の顔画像で訓練された最先端の敵対的生成ネットワーク (GAN) の潜在空間で動作するディープフェイク検出方法を提案します。
提案手法は、StyleGAN の潜在空間の構造を利用して、軽量の二値分類モデルを学習します。
標準データセットでの実験結果から、提案されたアプローチが、特に新しい操作方法が導入された場合など、モデルのトレーニングに利用できるデータが希少な状況において、他の最先端のディープフェイク分類方法よりも優れたパフォーマンスを発揮することが明らかになりました。
私たちの知る限り、これはディープフェイク分類における StyleGAN の潜在空間の関心を示す最初の研究です。
この潜在空間の解釈と操作に関する他の最近の研究と組み合わせることで、提案されたアプローチは、顔画像の解釈可能な高レベルの特性に基づいた質素なディープフェイク分類方法の開発にさらに役立つと考えられます。

要約(オリジナル)

The classification of forged videos has been a challenge for the past few years. Deepfake classifiers can now reliably predict whether or not video frames have been tampered with. However, their performance is tied to both the dataset used for training and the analyst’s computational power. We propose a deepfake detection method that operates in the latent space of a state-of-the-art generative adversarial network (GAN) trained on high-quality face images. The proposed method leverages the structure of the latent space of StyleGAN to learn a lightweight binary classification model. Experimental results on standard datasets reveal that the proposed approach outperforms other state-of-the-art deepfake classification methods, especially in contexts where the data available to train the models is rare, such as when a new manipulation method is introduced. To the best of our knowledge, this is the first study showing the interest of the latent space of StyleGAN for deepfake classification. Combined with other recent studies on the interpretation and manipulation of this latent space, we believe that the proposed approach can further help in developing frugal deepfake classification methods based on interpretable high-level properties of face images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google