Aggregating Layers for Deepfake Detection

要約

顔の操作 (Deepfakes) と人工的な顔の作成の人気が高まっているため、堅牢な偽造検出ソリューションを開発する必要性が高まっています。
重要なことに、このドメインのほとんどの作業では、テスト セット内の Deepfake が、ネットワークのトレーニングに使用されたのと同じ Deepfake アルゴリズムに由来すると想定しています。
これは、物事が実際にどのように機能するかではありません。
代わりに、ネットワークが 1 つのディープフェイク アルゴリズムでトレーニングされ、別のアルゴリズムによって生成されたディープフェイクでテストされる場合を考えます。
通常、教師あり手法は、深いバックボーンからの視覚的特徴抽出のパイプラインに従い、その後にバイナリ分類ヘッドが続きます。
代わりに、当社のアルゴリズムは、1 つのバックボーン ネットワークのすべてのレイヤーで抽出された特徴を集約して、偽物を検出します。
ディープフェイク検出と合成画像検出の 2 つの関心領域でアプローチを評価し、SOTA の結果を達成していることを確認しました。

要約(オリジナル)

The increasing popularity of facial manipulation (Deepfakes) and synthetic face creation raises the need to develop robust forgery detection solutions. Crucially, most work in this domain assume that the Deepfakes in the test set come from the same Deepfake algorithms that were used for training the network. This is not how things work in practice. Instead, we consider the case where the network is trained on one Deepfake algorithm, and tested on Deepfakes generated by another algorithm. Typically, supervised techniques follow a pipeline of visual feature extraction from a deep backbone, followed by a binary classification head. Instead, our algorithm aggregates features extracted across all layers of one backbone network to detect a fake. We evaluate our approach on two domains of interest – Deepfake detection and Synthetic image detection, and find that we achieve SOTA results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google