Collaborative Feature Learning for Fine-grained Facial Forgery Detection and Segmentation

要約

タイトル：高精細な顔の偽造の検出とセグメンテーションのための共同特徴学習

要約：

– 偽造された顔の画像や動画を検出することは、デジタルフォレンジックやコンピュータビジョンのコミュニティから広く注目されている。
– 偽造の検出に関する先行研究は、主に顔全体に焦点を当てている。しかし、最近の偽造手法では、重要な顔の部分を編集することができ、他の部分を変化させないという方法が開発されている。
– このため、偽造の検出だけでなく、細かい偽造領域のセグメンテーションにも注目する必要性がある。
– 本論文では、共同特徴学習アプローチを提案し、同時に偽造検出と偽造領域のセグメンテーションを行う。共同特徴学習により、検出とセグメンテーションが効率的に互いを促進できる。
– 偽造の検出とセグメンテーションの研究のために、顔全体と部分の偽造を含む顔の偽造データセットを構築した。ピクセルレベルの偽造地面実相を含んでいる。
– 実験結果は、偽造の検出と偽造領域のセグメンテーションの相互促進を正当化している。
– 提案されたアプローチの全体的な性能は、最新の検出またはセグメンテーションアプローチよりも優れている。
– 可視化結果は、提案されたモデルが顔の領域のアーティファクトを常に捉えていることを示しており、より妥当であることを示している。

要約(オリジナル)

Detecting maliciously falsified facial images and videos has attracted extensive attention from digital-forensics and computer-vision communities. An important topic in manipulation detection is the localization of the fake regions. Previous work related to forgery detection mostly focuses on the entire faces. However, recent forgery methods have developed to edit important facial components while maintaining others unchanged. This drives us to not only focus on the forgery detection but also fine-grained falsified region segmentation. In this paper, we propose a collaborative feature learning approach to simultaneously detect manipulation and segment the falsified components. With the collaborative manner, detection and segmentation can boost each other efficiently. To enable our study of forgery detection and segmentation, we build a facial forgery dataset consisting of both entire and partial face forgeries with their pixel-level manipulation ground-truth. Experiment results have justified the mutual promotion between forgery detection and manipulated region segmentation. The overall performance of the proposed approach is better than the state-of-the-art detection or segmentation approaches. The visualization results have shown that our proposed model always captures the artifacts on facial regions, which is more reasonable.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI