Towards Reliable Identification of Diffusion-based Image Manipulations

要約

表情、ジェスチャー、または背景の詳細​​を変更すると、画像によって伝えられる意味が劇的に変化する場合があります。
特に、拡散モデルの最近の進歩は、画像操作の品質を大幅に改善しながら、誤用の扉を開いています。
したがって、本物の画像に加えられた変更を特定することは、新しい拡散ベースの編集ツールによって常に挑戦されている重要なタスクになります。
この目的のために、塗装されたエリア（レーダー）の信頼できる識別のための新しいアプローチを提案します。
レーダーは、既存の基礎モデルに基づいて構築され、さまざまな画像モダリティの機能を組み合わせています。
また、操作された画像パッチを分離するのに役立つ補助的なコントラスト損失も組み込まれています。
これらの手法を実証して、メソッドの精度とその一般化の両方を多数の拡散モデルに大幅に改善します。
現実的な評価をサポートするために、28の拡散モデルが改ざんされた画像を備えた新しい包括的なベンチマークであるBBC-Pairをさらに紹介します。
私たちの実験は、レーダーが優れた結果を達成し、見られた拡散モデルと目に見えない拡散モデルの両方で行われた画像編集の検出とローカリゼーションの最先端を上回ることを示しています。
コード、データ、モデルは、https：//alex-costanzino.github.io/radar/で公開されます。

要約(オリジナル)

Changing facial expressions, gestures, or background details may dramatically alter the meaning conveyed by an image. Notably, recent advances in diffusion models greatly improve the quality of image manipulation while also opening the door to misuse. Identifying changes made to authentic images, thus, becomes an important task, constantly challenged by new diffusion-based editing tools. To this end, we propose a novel approach for ReliAble iDentification of inpainted AReas (RADAR). RADAR builds on existing foundation models and combines features from different image modalities. It also incorporates an auxiliary contrastive loss that helps to isolate manipulated image patches. We demonstrate these techniques to significantly improve both the accuracy of our method and its generalisation to a large number of diffusion models. To support realistic evaluation, we further introduce BBC-PAIR, a new comprehensive benchmark, with images tampered by 28 diffusion models. Our experiments show that RADAR achieves excellent results, outperforming the state-of-the-art in detecting and localising image edits made by both seen and unseen diffusion models. Our code, data and models will be publicly available at https://alex-costanzino.github.io/radar/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google