LatentForensics: Towards lighter deepfake detection in the StyleGAN latent space

要約

タイトル：StyleGANの潜在空間でより軽量なディープフェイク検出に向けて

要約：

– 偽造されたビデオの分類は過去数年間の課題であった。
– ディープフェイク・クラシファイヤーは、ビデオフレームが改ざんされたかどうかを信頼性をもって予測できるようになった。
– しかしながら、その性能はトレーニングに使用されたデータセットと分析者の計算能力の両方に依存する。
– 我々は、高品質の顔画像にトレーニングされた最新の生成的対抗ネットワーク（GAN）の潜在空間で動作するディープフェイク・クラス分類方法を提案する。
– 提案された方法は、StyleGANの潜在空間の構造を利用して、軽量なクラス分類モデルを学習する。
– 標準的なデータセットでの実験結果から、提案手法が他の最新のディープフェイク分類法を上回ることがわかった。
– 私たちは、StyleGANの潜在空間の解釈と操作の他の最近の研究と組み合わせて、顔画像の解釈可能な高レベルの特性に基づく堅牢なディープフェイク分類方法の開発に役立つと信じています。
– われわれの研究は、StyleGANの潜在空間のディープフェイク分類への関心を示した最初のものである。

要約(オリジナル)

The classification of forged videos has been a challenge for the past few years. Deepfake classifiers can now reliably predict whether or not video frames have been tampered with. However, their performance is tied to both the dataset used for training and the analyst’s computational power. We propose a deepfake classification method that operates in the latent space of a state-of-the-art generative adversarial network (GAN) trained on high-quality face images. The proposed method leverages the structure of the latent space of StyleGAN to learn a lightweight classification model. Experimental results on a standard dataset reveal that the proposed approach outperforms other state-of-the-art deepfake classification methods. To the best of our knowledge, this is the first study showing the interest of the latent space of StyleGAN for deepfake classification. Combined with other recent studies on the interpretation and manipulation of this latent space, we believe that the proposed approach can help in developing robust deepfake classification methods based on interpretable high-level properties of face images.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI