Deepfake Detection of Occluded Images Using a Patch-based Approach

要約

タイトル：パッチベースの手法を用いた遮蔽画像のDeepfake検知

要約：
– DeepFakeは、主にGANによって生成されたビデオや画像のコンテンツを作成または変更するために深層学習と人工知能技術を使用するものである。
– 悪用されることがあり、虚偽のニュース、倫理的および財務犯罪を引き起こし、また顔認識システムの性能にも影響を与えるため、本物またはフェイクの画像を検知することは重要である。
– このトピックにおける最も重要な課題の1つは、システムの精度を低下させる遮蔽である。
– 本研究では、遮蔽が存在する場合に、全体的な顔と顔パッチを使用して本物/フェイクの画像を区別する深層学習アプローチを提供する。そして、3つのパスにより、全体顔に基づく判断、顔パッチの特徴ベクトルの連結に基づく判断、およびこれらの特徴に基づく多数決判断を行う。
– テストするために、リアルイメージとフェイクイメージを含む新しいデータセットを作成する。フェイク画像を作成するために、StyleGANとStyleGAN2はFFHQ画像でトレーニングされ、StarGANとPGGANはCelebA画像でトレーニングされる。CelebAとFFHQのデータセットはリアルイメージとして使用される。
– 提案されたアプローチは、他の方法よりも初期のエポックでより高い結果を達成し、異なる構築されたデータセットでSoTA結果を0.4％〜7.9％向上させる。また、実験結果では、パッチを重み付けすることで精度が向上することが示された。

要約(オリジナル)

DeepFake involves the use of deep learning and artificial intelligence techniques to produce or change video and image contents typically generated by GANs. Moreover, it can be misused and leads to fictitious news, ethical and financial crimes, and also affects the performance of facial recognition systems. Thus, detection of real or fake images is significant specially to authenticate originality of people’s images or videos. One of the most important challenges in this topic is obstruction that decreases the system precision. In this study, we present a deep learning approach using the entire face and face patches to distinguish real/fake images in the presence of obstruction with a three-path decision: first entire-face reasoning, second a decision based on the concatenation of feature vectors of face patches, and third a majority vote decision based on these features. To test our approach, new datasets including real and fake images are created. For producing fake images, StyleGAN and StyleGAN2 are trained by FFHQ images and also StarGAN and PGGAN are trained by CelebA images. The CelebA and FFHQ datasets are used as real images. The proposed approach reaches higher results in early epochs than other methods and increases the SoTA results by 0.4\%-7.9\% in the different built data-sets. Also, we have shown in experimental results that weighing the patches may improve accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI