Towards Effective Image Manipulation Detection with Proposal Contrastive Learning

要約

ディープ モデルは、改ざんされた画像を分類し、改ざんされた領域を特定することを目的とした画像操作の検出に広く使用され、成功を収めています。
ほとんどの既存の方法は、改ざんされた画像からグローバルな特徴を抽出することに主に焦点を当てていますが、改ざんされた単一の画像内の改ざんされた領域と本物の領域との間の局所的な特徴の関係は無視されています。
このような空間的関係を活用するために、効果的な画像操作検出のための提案対照学習 (PCL) を提案します。
私たちの PCL は、RGB ビューとノイズ ビューからそれぞれ 2 種類のグローバルな特徴を抽出することにより、2 ストリーム アーキテクチャで構成されています。
識別力をさらに向上させるために、提案ベースの正/負のサンプルペアを引き付け/反発することにより、プロキシ提案対照学習タスクを通じてローカル機能の関係を活用します。
さらに、PCL は実際にはラベルのないデータに簡単に適応できることを示しています。これにより、手動のラベル付けコストを削減し、より一般化可能な機能を促進できます。
いくつかの標準的なデータセット間での広範な実験により、PCL が一貫した改善を得るための一般的なモジュールになり得ることが実証されています。
コードは https://github.com/Sandy-Zeng/PCL で入手できます。

要約(オリジナル)

Deep models have been widely and successfully used in image manipulation detection, which aims to classify tampered images and localize tampered regions. Most existing methods mainly focus on extracting global features from tampered images, while neglecting the relationships of local features between tampered and authentic regions within a single tampered image. To exploit such spatial relationships, we propose Proposal Contrastive Learning (PCL) for effective image manipulation detection. Our PCL consists of a two-stream architecture by extracting two types of global features from RGB and noise views respectively. To further improve the discriminative power, we exploit the relationships of local features through a proxy proposal contrastive learning task by attracting/repelling proposal-based positive/negative sample pairs. Moreover, we show that our PCL can be easily adapted to unlabeled data in practice, which can reduce manual labeling costs and promote more generalizable features. Extensive experiments among several standard datasets demonstrate that our PCL can be a general module to obtain consistent improvement. The code is available at https://github.com/Sandy-Zeng/PCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google