Hierarchical Forgery Classifier On Multi-modality Face Forgery Clues

要約

顔偽造検出は、個人のプライバシーと社会保障において重要な役割を果たします。
敵対的生成モデルの開発により、高品質の偽造画像はますます本物と人間の区別がつかなくなります。
既存の方法は常に、偽造検出タスクを一般的なバイナリまたはマルチラベル分類と見なし、多様なマルチモダリティ偽造画像タイプの調査を無視します。
可視光スペクトルと近赤外線のシナリオ。
この論文では、マルチモダリティ顔偽造検出のための新しい階層的偽造分類子 (HFC-MFFD) を提案します。これは、複数モダリティ シナリオでの偽造認証を強化するために、堅牢なパッチベースのハイブリッド ドメイン表現を効果的に学習できます。
ローカル空間ハイブリッド ドメイン機能モジュールは、ローカルの異なる顔領域の画像ドメインと周波数ドメインの両方で、強力な識別力のある偽造の手がかりを探索するように設計されています。
さらに、特定の階層的な顔偽造分類器を提案して、クラスの不均衡の問題を軽減し、検出性能をさらに向上させます。
代表的なマルチモダリティの顔偽造データセットに関する実験結果は、最先端のアルゴリズムと比較して、提案された HFC-MFFD の優れたパフォーマンスを示しています。
ソース コードとモデルは、https://github.com/EdWhites/HFC-MFFD で公開されています。

要約(オリジナル)

Face forgery detection plays an important role in personal privacy and social security. With the development of adversarial generative models, high-quality forgery images become more and more indistinguishable from real to humans. Existing methods always regard as forgery detection task as the common binary or multi-label classification, and ignore exploring diverse multi-modality forgery image types, e.g. visible light spectrum and near-infrared scenarios. In this paper, we propose a novel Hierarchical Forgery Classifier for Multi-modality Face Forgery Detection (HFC-MFFD), which could effectively learn robust patches-based hybrid domain representation to enhance forgery authentication in multiple-modality scenarios. The local spatial hybrid domain feature module is designed to explore strong discriminative forgery clues both in the image and frequency domain in local distinct face regions. Furthermore, the specific hierarchical face forgery classifier is proposed to alleviate the class imbalance problem and further boost detection performance. Experimental results on representative multi-modality face forgery datasets demonstrate the superior performance of the proposed HFC-MFFD compared with state-of-the-art algorithms. The source code and models are publicly available at https://github.com/EdWhites/HFC-MFFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google