IMDPrompter: Adapting SAM to Image Manipulation Detection by Cross-View Automated Prompt Learning

要約

SA-1Bの膨大な学習データを用いたセグメント何でもモデル（SAM）は、卓越した汎化能力とゼロショット能力を実証し、医療画像セグメンテーションやリモートセンシング画像セグメンテーションなどの分野で広く注目されている。しかし、画像操作検出の分野では、その性能はほとんど未解明で未確認のままである。SAMを画像操作検出に適用する際の主な課題は2つある：a)手動プロンプトへの依存、b)データセット間の汎化をサポートするシングルビュー情報の困難性。これらの課題に対処するために、我々はSAMに基づくIMDPrompterと呼ばれるクロスビュープロンプト学習パラダイムを開発した。IMDPrompterは、自動化されたプロンプトの設計から恩恵を受け、もはや手動ガイダンスに頼ることなく、自動検出と定位が可能である。さらに、クロスビュー特徴知覚、最適プロンプト選択、クロスビュープロンプト一貫性などのコンポーネントを提案し、クロスビュー知覚学習を促進し、正確なマスクを生成するためにSAMを導く。5つのデータセット（CASIA、Columbia、Coverage、IMD2020、NIST16）による広範な実験結果により、提案手法の有効性を検証する。

要約(オリジナル)

Using extensive training data from SA-1B, the Segment Anything Model (SAM) has demonstrated exceptional generalization and zero-shot capabilities, attracting widespread attention in areas such as medical image segmentation and remote sensing image segmentation. However, its performance in the field of image manipulation detection remains largely unexplored and unconfirmed. There are two main challenges in applying SAM to image manipulation detection: a) reliance on manual prompts, and b) the difficulty of single-view information in supporting cross-dataset generalization. To address these challenges, we develops a cross-view prompt learning paradigm called IMDPrompter based on SAM. Benefiting from the design of automated prompts, IMDPrompter no longer relies on manual guidance, enabling automated detection and localization. Additionally, we propose components such as Cross-view Feature Perception, Optimal Prompt Selection, and Cross-View Prompt Consistency, which facilitate cross-view perceptual learning and guide SAM to generate accurate masks. Extensive experimental results from five datasets (CASIA, Columbia, Coverage, IMD2020, and NIST16) validate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL