Towards Generalizable Deepfake Detection by Primary Region Regularization

要約

既存のディープフェイク検出方法は、目に見えない偽造や改ざんアプローチを一般化する際にボトルネックに達しています。
ディープフェイク検出器が入力内の特定の一次領域を優先的に過剰適合させるという観察に基づいて、この論文は新しい正則化の観点から一般化機能を強化します。
これは、一次領域の除去によって画像を拡張することで簡単に実現でき、それによって検出器がデータ バイアスに過度に依存するのを防ぎます。
私たちの方法は、プライマリ領域マップの静的位置特定とプライマリ領域マスクの動的利用の 2 つの段階で構成されます。
提案された方法は、推論効率に影響を与えることなく、さまざまなバックボーンにシームレスに統合できます。
私たちは、広く使用されている 3 つのディープフェイク データセット (DFDC、DF-1.0、および 5 つのバックボーンを持つ Celeb-DF) に対して広範な実験を実施しました。
私たちのメソッドは、さまざまなバックボーンにわたって平均 6% のパフォーマンス向上を示し、いくつかの最先端のベースラインと競合するパフォーマンスを示します。

要約(オリジナル)

The existing deepfake detection methods have reached a bottleneck in generalizing to unseen forgeries and manipulation approaches. Based on the observation that the deepfake detectors exhibit a preference for overfitting the specific primary regions in input, this paper enhances the generalization capability from a novel regularization perspective. This can be simply achieved by augmenting the images through primary region removal, thereby preventing the detector from over-relying on data bias. Our method consists of two stages, namely the static localization for primary region maps, as well as the dynamic exploitation of primary region masks. The proposed method can be seamlessly integrated into different backbones without affecting their inference efficiency. We conduct extensive experiments over three widely used deepfake datasets – DFDC, DF-1.0, and Celeb-DF with five backbones. Our method demonstrates an average performance improvement of 6% across different backbones and performs competitively with several state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google