Progressive Feedback-Enhanced Transformer for Image Forgery Localization

要約

デジタル画像内の偽造領域のブラインド検出は、ローカル画像編集技術の悪意のある使用に対抗する効果的な認証手段です。
既存のエンコーダ/デコーダ法医学ネットワークは、複雑で微妙な改ざん領域を検出するには通常、より多くのフィードバック情報が必要であるという事実を見落としています。
この論文では、粗いものから細かいものまでの画像偽造位置特定を達成するための Progressive FedbACk-enhanced Transformer (ProFact) ネットワークを提案します。
具体的には、最初のブランチ ネットワークによって生成された粗い位置特定マップは、干渉因子を抑制しながら肯定的な特徴の表現を強化するために、初期のトランスエンコーダー層に適応的にフィードバックされます。
カスケード変換ネットワークは、コンテキスト空間ピラミッド モジュールと組み合わせて、偽造の位置特定の精度と信頼性を向上させるための識別法医学機能を洗練するように設計されています。
さらに、特に現実的で一貫した処理において、現実世界のフォレンジックシナリオに近い大規模な偽造画像サンプルを自動的に生成する効果的な戦略を提案します。
このようなサンプルを活用して、進歩的でコスト効率の高い 2 段階のトレーニング プロトコルが ProFact ネットワークに適用されます。
9 つの公開フォレンジック データセットに関する広範な実験結果は、私たちが提案するローカライザーが、画像偽造ローカライゼーションの一般化能力と堅牢性において最先端のものよりも大幅に優れていることを示しています。
コードは https://github.com/multimediaFor/ProFact で公開されます。

要約(オリジナル)

Blind detection of the forged regions in digital images is an effective authentication means to counter the malicious use of local image editing techniques. Existing encoder-decoder forensic networks overlook the fact that detecting complex and subtle tampered regions typically requires more feedback information. In this paper, we propose a Progressive FeedbACk-enhanced Transformer (ProFact) network to achieve coarse-to-fine image forgery localization. Specifically, the coarse localization map generated by an initial branch network is adaptively fed back to the early transformer encoder layers for enhancing the representation of positive features while suppressing interference factors. The cascaded transformer network, combined with a contextual spatial pyramid module, is designed to refine discriminative forensic features for improving the forgery localization accuracy and reliability. Furthermore, we present an effective strategy to automatically generate large-scale forged image samples close to real-world forensic scenarios, especially in realistic and coherent processing. Leveraging on such samples, a progressive and cost-effective two-stage training protocol is applied to the ProFact network. The extensive experimental results on nine public forensic datasets show that our proposed localizer greatly outperforms the state-of-the-art on the generalization ability and robustness of image forgery localization. Code will be publicly available at https://github.com/multimediaFor/ProFact.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google