Beyond the Prior Forgery Knowledge: Mining Critical Clues for General Face Forgery Detection

要約

タイトル：先行情報に頼らない監視に必要な手がかりを探す-一般的な顔の偽造検出に向けて

要約：
・悪意を持ったデジタルの顔の攻撃に対処するには、顔の偽造を検出することが重要
・従来の方法は、ノイズパターン、ブレンド境界、周波数アーティファクトなど、特定の偽造手がかりを捕捉するために先行専門家の知識に頼ることが多かった。
・しかしながら、これらの方法は、局所最適に捕らわれる傾向があり、限定された強健性と一般化能力をもたらしてしまう。
・これらの問題を解決するため、我々は新しい（CFM）フレームワークを提案することで、これらの欠陥を補う。
・CFMは、さまざまなバックボーンを柔軟に組み合わせることで、一般化能力と強健性のパフォーマンスを高めることができます。
・まず、ファイングレインドなトリプレットを構築し、先行知識アゴスティックなデータ拡張によって特定の偽造手がかりを抑制します。
・さらに、インスタンスとローカルな類似性に注意を払ったロスを用いて、ファイングレインドな関係学習プロトタイプを提案して、偽造品の中で重要な情報を掘り出す。
・さらに、プログラスラーニングコントローラを設計して、モデルが主要な特徴成分に焦点を当てるように導き、粗粒子から微粒子まで、重要な偽造の特徴を学習できるようにする。
・提案された方法は、さまざまな困難な評価設定下で最先端の偽造検出性能を実現する。

要約(オリジナル)

Face forgery detection is essential in combating malicious digital face attacks. Previous methods mainly rely on prior expert knowledge to capture specific forgery clues, such as noise patterns, blending boundaries, and frequency artifacts. However, these methods tend to get trapped in local optima, resulting in limited robustness and generalization capability. To address these issues, we propose a novel Critical Forgery Mining (CFM) framework, which can be flexibly assembled with various backbones to boost their generalization and robustness performance. Specifically, we first build a fine-grained triplet and suppress specific forgery traces through prior knowledge-agnostic data augmentation. Subsequently, we propose a fine-grained relation learning prototype to mine critical information in forgeries through instance and local similarity-aware losses. Moreover, we design a novel progressive learning controller to guide the model to focus on principal feature components, enabling it to learn critical forgery features in a coarse-to-fine manner. The proposed method achieves state-of-the-art forgery detection performance under various challenging evaluation settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI