Deepfake Detection of Face Images based on a Convolutional Neural Network

要約

偽のニュース、特にディープフェイク（生成された、非現実的な画像またはビデオコンテンツ）は、過去数年間にわたって深刻なトピックになりました。
機械学習アルゴリズムの出現により、個人的な人であっても、このような偽のコンテンツを生成することがこれまで以上に簡単になりました。
生成された偽の画像のこの問題は、政治や公人の文脈で特に重要です。
畳み込みニューラルネットワークに基づいてモデルを構築することにより、この競合に対処し、人間の肖像画を示すこのような生成された偽の画像を検出したいと考えています。
基礎として、画像の分類という点での有効性のため、事前に訓練されたResNet-50モデルを使用します。
次に、画像の信頼性を示す単一のニューロンを含む完全に接続された出力層を追加することにより、単一の画像を本物/本物または偽物として分類するというタスクに基本モデルを採用しました。
モデルを開発し、そのパラメーターを改善するために、微調整と転送学習を適用しました。
トレーニングプロセスのために、画像のデータセット「多様なフェイスフェイクデータセット」を収集しました。これは、画像上に見える顔の観点から、さまざまな画像操作方法と多様性を含む。
最終モデルを使用すると、次の優れたパフォーマンスメトリックに到達しました。Precision= 0.98、Recall 0.96、F1-Score = 0.97、およびAnea Under-Curve = 0.99です。

要約(オリジナル)

Fake News and especially deepfakes (generated, non-real image or video content) have become a serious topic over the last years. With the emergence of machine learning algorithms it is now easier than ever before to generate such fake content, even for private persons. This issue of generated fake images is especially critical in the context of politics and public figures. We want to address this conflict by building a model based on a Convolutions Neural Network in order to detect such generated and fake images showing human portraits. As a basis, we use a pre-trained ResNet-50 model due to its effectiveness in terms of classifying images. We then adopted the base model to our task of classifying a single image as authentic/real or fake by adding an fully connected output layer containing a single neuron indicating the authenticity of an image. We applied fine tuning and transfer learning to develop the model and improve its parameters. For the training process we collected the image data set ‘Diverse Face Fake Dataset’ containing a wide range of different image manipulation methods and also diversity in terms of faces visible on the images. With our final model we reached the following outstanding performance metrics: precision = 0.98, recall 0.96, F1-Score = 0.97 and an area-under-curve = 0.99.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google