Detect Any Deepfakes: Segment Anything Meets Face Forgery Detection and Localization

要約

コンピュータ ビジョンの急速な進歩は、顔の偽造技術の目覚ましい進歩を刺激し、偽造の検出と操作された領域の正確な位置特定に熱心に取り組んでいる研究者の熱心な注目を集めています。
それにもかかわらず、きめの細かいピクセル単位の監視ラベルが限られているため、ディープフェイク検出モデルは、正確な偽造検出と位置特定に関して満足のいく性能を発揮しません。
この課題に対処するために、私たちはよく訓練されたビジョンセグメンテーション基盤モデル、つまり顔偽造の検出と位置特定におけるセグメントエニシングモデル (SAM) を導入します。
SAM に基づいて、マルチスケール アダプターを備えた Detect Any Deepfakes (DADF) フレームワークを提案します。これは、効率的な微調整のために短距離および長距離の偽造コンテキストをキャプチャできます。
さらに、偽造された痕跡をより適切に特定し、偽造領域に対するモデルの感度を高めるために、再構成ガイド付き注意 (RGA) モジュールが提案されています。
提案されたフレームワークは、エンドツーエンドの偽造の位置特定と検出の最適化をシームレスに統合します。
3 つのベンチマーク データセットに対する広範な実験により、偽造検出と位置特定の両方における私たちのアプローチの優位性が実証されました。
コードは https://github.com/laiyingxin2/DADF で間もなくリリースされる予定です。

要約(オリジナル)

The rapid advancements in computer vision have stimulated remarkable progress in face forgery techniques, capturing the dedicated attention of researchers committed to detecting forgeries and precisely localizing manipulated areas. Nonetheless, with limited fine-grained pixel-wise supervision labels, deepfake detection models perform unsatisfactorily on precise forgery detection and localization. To address this challenge, we introduce the well-trained vision segmentation foundation model, i.e., Segment Anything Model (SAM) in face forgery detection and localization. Based on SAM, we propose the Detect Any Deepfakes (DADF) framework with the Multiscale Adapter, which can capture short- and long-range forgery contexts for efficient fine-tuning. Moreover, to better identify forged traces and augment the model’s sensitivity towards forgery regions, Reconstruction Guided Attention (RGA) module is proposed. The proposed framework seamlessly integrates end-to-end forgery localization and detection optimization. Extensive experiments on three benchmark datasets demonstrate the superiority of our approach for both forgery detection and localization. The codes will be released soon at https://github.com/laiyingxin2/DADF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google