Pre-training-free Image Manipulation Localization through Non-Mutually Exclusive Contrastive Learning

要約

Deep Image Manipulation Localization (IML) モデルはトレーニング データが不十分であるため、事前トレーニングに大きく依存しています。
IML のデータ不足の問題に取り組むには、対照学習の方が適していると主張します。
相互に排他的なポジティブとネガティブを作り出すことが、対照的な学習の前提条件です。
ただし、IML で対照学習を採用すると、改ざんパッチ、本物のパッチ、輪郭パッチという 3 つのカテゴリの画像パッチに遭遇します。
改ざんされたパッチと本物のパッチは当然相互に排他的ですが、改ざんされたピクセルと本物のピクセルの両方を含む輪郭パッチは相互に排他的ではありません。
輪郭パッチは学習結果に決定的な影響を与えるため、これらの輪郭パッチを単純に無効化すると、パフォーマンスが大幅に低下します。
したがって、従来の対照学習を上記のジレンマから救うために、非相互排他的対照学習 (NCL) フレームワークを提案します。
NCL では、非相互排他性に対処するために、まずデュアル ブランチを持つピボット構造を確立し、トレーニング中に輪郭パッチの役割をポジティブとネガティブの間で常に切り替えるようにします。
次に、役割切り替えプロセスによって引き起こされる空間破壊を回避するために、ピボット一貫性のある損失を考案します。
このように、NCL はデータ不足に対処するための自己監視型のメリットを継承し、高い操作位置特定精度を維持します。
広範な実験により、当社の NCL は事前トレーニングなしで 5 つのベンチマークすべてで最先端のパフォーマンスを達成し、目に見えない現実のサンプルに対してより堅牢であることが確認されました。
コードは https://github.com/Knightzjz/NCL-IML から入手できます。

要約(オリジナル)

Deep Image Manipulation Localization (IML) models suffer from training data insufficiency and thus heavily rely on pre-training. We argue that contrastive learning is more suitable to tackle the data insufficiency problem for IML. Crafting mutually exclusive positives and negatives is the prerequisite for contrastive learning. However, when adopting contrastive learning in IML, we encounter three categories of image patches: tampered, authentic, and contour patches. Tampered and authentic patches are naturally mutually exclusive, but contour patches containing both tampered and authentic pixels are non-mutually exclusive to them. Simply abnegating these contour patches results in a drastic performance loss since contour patches are decisive to the learning outcomes. Hence, we propose the Non-mutually exclusive Contrastive Learning (NCL) framework to rescue conventional contrastive learning from the above dilemma. In NCL, to cope with the non-mutually exclusivity, we first establish a pivot structure with dual branches to constantly switch the role of contour patches between positives and negatives while training. Then, we devise a pivot-consistent loss to avoid spatial corruption caused by the role-switching process. In this manner, NCL both inherits the self-supervised merits to address the data insufficiency and retains a high manipulation localization accuracy. Extensive experiments verify that our NCL achieves state-of-the-art performance on all five benchmarks without any pre-training and is more robust on unseen real-life samples. The code is available at: https://github.com/Knightzjz/NCL-IML.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google