FSBI: Deepfakes Detection with Frequency Enhanced Self-Blended Images

要約

ディープフェイク研究の進歩により、人間の目では検出できないほぼ完璧な操作や、いくつかのディープフェイク検出ツールが作成されるようになりました。
最近、ディープフェイクを現実的な画像やビデオと区別するためにいくつかの技術が提案されています。
このペーパーでは、ディープフェイク検出のための周波数拡張自己ブレンド画像 (FSBI) アプローチを紹介します。
この提案されたアプローチは、離散ウェーブレット変換 (DWT) を利用して、畳み込みネットワーク アーキテクチャ モデルのトレーニングに使用される自己ブレンド画像 (SBI) から識別特徴を抽出します。
SBI は、画像をブレンドする前に、画像のコピーにいくつかの偽造アーティファクトを導入することによって、画像をそれ自体とブレンドします。
これにより、分類器がより一般的な表現を学習することで特定のアーティファクトを過剰適合するのを防ぎます。
これらのブレンドされた画像は周波数特徴抽出器に供給され、時間領域では簡単に検出できないアーチファクトが検出されます。
提案されたアプローチは FF++ および Celeb-DF データセットで評価され、得られた結果は、データセット間評価プロトコルを使用した最先端の手法を上回りました。

要約(オリジナル)

Advances in deepfake research have led to the creation of almost perfect manipulations undetectable by human eyes and some deepfakes detection tools. Recently, several techniques have been proposed to differentiate deepfakes from realistic images and videos. This paper introduces a Frequency Enhanced Self-Blended Images (FSBI) approach for deepfakes detection. This proposed approach utilizes Discrete Wavelet Transforms (DWT) to extract discriminative features from the self-blended images (SBI) to be used for training a convolutional network architecture model. The SBIs blend the image with itself by introducing several forgery artifacts in a copy of the image before blending it. This prevents the classifier from overfitting specific artifacts by learning more generic representations. These blended images are then fed into the frequency features extractor to detect artifacts that can not be detected easily in the time domain. The proposed approach has been evaluated on FF++ and Celeb-DF datasets and the obtained results outperformed the state-of-the-art techniques with the cross-dataset evaluation protocol.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google