Perturb, Attend, Detect and Localize (PADL): Robust Proactive Image Defense

要約

画像操作の検出と位置特定は、生成モデル (GM) の普及により、研究コミュニティから大きな注目を集めています。
受動的なアプローチに従う検出方法は、生成モデルの多様性が増大しているため、特定の GM に過剰適合する可能性があり、現実世界のシナリオでの適用が制限されます。
最近、プロアクティブなフレームワークに基づくアプローチにより、この制限に対処できる可能性が示されています。
ただし、これらの方法には 2 つの主な制限があり、潜在的な脆弱性に関する懸念が生じます。i) 操作検出器はノイズに対して堅牢ではないため、簡単に騙される可能性があります。
ii) 画像保護のために固定摂動に依存しているという事実は、悪意のある攻撃者に予測可能な悪用を提供し、リバース エンジニアリングや検出の回避を可能にします。
この問題を克服するために、我々は PADL を提案します。これは、クロスアテンションに基づいたエンコードとデコードの対称スキームを使用して画像固有の摂動を生成できる新しいソリューションです。これにより、適応攻撃で評価された場合でも、リバース エンジニアリングの可能性が大幅に低減されます [31]
。
さらに、PADL は操作された領域を正確に特定できるため、変更が加えられた特定の領域の識別が容易になり、保持された生成モデルに関して従来技術よりも一般化能力が高くなります。
実際、属性操作 GAN モデル [15] でのみトレーニングされていますが、私たちの方法は、StarGANv2、BlendGAN、DiffAE、StableDiffusion、StableDiffusionXL など、さまざまなアーキテクチャ設計を持つさまざまな未知のモデルに一般化されています。
さらに、検出精度に応じて位置特定パフォーマンスを公平に評価し、現実世界のシナリオをより適切に捕捉する新しい評価プロトコルを導入します。

要約(オリジナル)

Image manipulation detection and localization have received considerable attention from the research community given the blooming of Generative Models (GMs). Detection methods that follow a passive approach may overfit to specific GMs, limiting their application in real-world scenarios, due to the growing diversity of generative models. Recently, approaches based on a proactive framework have shown the possibility of dealing with this limitation. However, these methods suffer from two main limitations, which raises concerns about potential vulnerabilities: i) the manipulation detector is not robust to noise and hence can be easily fooled; ii) the fact that they rely on fixed perturbations for image protection offers a predictable exploit for malicious attackers, enabling them to reverse-engineer and evade detection. To overcome this issue we propose PADL, a new solution able to generate image-specific perturbations using a symmetric scheme of encoding and decoding based on cross-attention, which drastically reduces the possibility of reverse engineering, even when evaluated with adaptive attack [31]. Additionally, PADL is able to pinpoint manipulated areas, facilitating the identification of specific regions that have undergone alterations, and has more generalization power than prior art on held-out generative models. Indeed, although being trained only on an attribute manipulation GAN model [15], our method generalizes to a range of unseen models with diverse architectural designs, such as StarGANv2, BlendGAN, DiffAE, StableDiffusion and StableDiffusionXL. Additionally, we introduce a novel evaluation protocol, which offers a fair evaluation of localisation performance in function of detection accuracy and better captures real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google