GLFF: Global and Local Feature Fusion for Face Forgery Detection

要約

深い生成モデル (Generative Adversarial Networks や Auto-encoders など) の急速な発展により、AI によって合成された人間の顔の画像は、人間が手付かずの顔とほとんど区別できないほど高品質になりました。
既存の検出方法は、特定の評価設定、たとえば、見たモデルからの画像、または現実世界の後処理のない画像で高いパフォーマンスを示していますが、テスト画像が
より強力な生成モデルを使用したり、さまざまな後処理操作と組み合わせたりできます。
この問題に対処するために、顔偽造検出のための有益なパッチからの洗練されたローカル機能と画像全体からのマルチスケール グローバル機能を組み合わせることにより、豊富で差別的な表現を学習するグローバルおよびローカル機能融合 (GLFF) を提案します。
GLFF は 2 つのブランチからの情報を融合します。グローバル ブランチはマルチスケールのセマンティック機能を抽出し、ローカル ブランチは詳細なローカル アーティファクト抽出用の有益なパッチを選択します。
評価用の実際のアプリケーションをシミュレートする顔偽造データセットがないため、さらに、DeepFakeFaceForensics (DF^3) という名前の挑戦的な顔偽造データセットを作成します。
現実世界のシナリオにアプローチするための後処理技術。
実験結果は、提案された DF^3 データセットおよび他の 3 つのオープンソース データセットに対する最先端の方法に対する私たちの方法の優位性を示しています。

要約(オリジナル)

With the rapid development of deep generative models (such as Generative Adversarial Networks and Auto-encoders), AI-synthesized images of the human face are now of such high quality that humans can hardly distinguish them from pristine ones. Although existing detection methods have shown high performance in specific evaluation settings, e.g., on images from seen models or on images without real-world post-processings, they tend to suffer serious performance degradation in real-world scenarios where testing images can be generated by more powerful generation models or combined with various post-processing operations. To address this issue, we propose a Global and Local Feature Fusion (GLFF) to learn rich and discriminative representations by combining multi-scale global features from the whole image with refined local features from informative patches for face forgery detection. GLFF fuses information from two branches: the global branch to extract multi-scale semantic features and the local branch to select informative patches for detailed local artifacts extraction. Due to the lack of a face forgery dataset simulating real-world applications for evaluation, we further create a challenging face forgery dataset, named DeepFakeFaceForensics (DF^3), which contains 6 state-of-the-art generation models and a variety of post-processing techniques to approach the real-world scenarios. Experimental results demonstrate the superiority of our method to the state-of-the-art methods on the proposed DF^3 dataset and three other open-source datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google