Wavelet-Packets for Deepfake Image Analysis and Detection

要約

ニューラル ネットワークがリアルな人工画像を生成できるようになると、映画、音楽、ビデオ ゲームが改善され、インターネットがさらに創造的で刺激的な場所になる可能性があります。
とはいえ、最新のテクノロジーは、デジタルで新たな嘘をつく方法を可能にする可能性があります。
それに応じて、人工画像やその他のコンテンツを識別するための、多様で信頼性の高いメソッド ツールボックスの必要性が生じています。
以前の研究は、主にピクセル空間 CNN またはフーリエ変換に依存していました。
私たちの知る限りでは、空間と周波数の両方で局所化されたマルチスケール ウェーブレット表現に基づく合成偽画像分析および検出方法は、これまで存在しませんでした。
ウェーブレット変換は空間情報をある程度保存するため、新しい分析を提示できます。
本物のイメージと偽のイメージのウェーブレット係数を比較すると、解釈が可能になります。
重要な違いが識別されます。
さらに、この論文では、自然画像とGAN生成画像のウェーブレットパケット表現に基づいて、合成画像を検出するためのモデルを学習することを提案しています。
FFHQ、CelebA、および LSUN のソース識別問題で実証されているように、当社の軽量のフォレンジック分類器は、比較的小さなネットワーク サイズで競合または改善されたパフォーマンスを示します。
さらに、バイナリ FaceForensics++ 偽物検出問題を研究します。

要約(オリジナル)

As neural networks become able to generate realistic artificial images, they have the potential to improve movies, music, video games and make the internet an even more creative and inspiring place. Yet, the latest technology potentially enables new digital ways to lie. In response, the need for a diverse and reliable method toolbox arises to identify artificial images and other content. Previous work primarily relies on pixel-space CNNs or the Fourier transform. To the best of our knowledge, synthesized fake image analysis and detection methods based on a multi-scale wavelet representation, localized in both space and frequency, have been absent thus far. The wavelet transform conserves spatial information to a degree, which allows us to present a new analysis. Comparing the wavelet coefficients of real and fake images allows interpretation. Significant differences are identified. Additionally, this paper proposes to learn a model for the detection of synthetic images based on the wavelet-packet representation of natural and GAN-generated images. Our lightweight forensic classifiers exhibit competitive or improved performance at comparatively small network sizes, as we demonstrate on the FFHQ, CelebA and LSUN source identification problems. Furthermore, we study the binary FaceForensics++ fake-detection problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google