MVSS-Net: Multi-View Multi-Scale Supervised Networks for Image Manipulation Detection

要約

コピー・ムーブ、スプライシング、インペインティングなどの画像操作は、映像コンテンツの誤認識を引き起こす可能性があり、このような操作を検出することはメディアフォレンジックにとって重要である。コンテンツに対する様々な攻撃の可能性を考慮すると、汎用的な手法を考案することは自明ではありません。現在のディープラーニングに基づく手法は、トレーニングデータとテストデータがよく一致する場合には有望ですが、独立したテストでは性能が劣ります。さらに、本物のテスト画像がないため、画像レベルでの検出の特異性が疑問視されている。そこで、新規データの操作に敏感で汎用性のある特徴を学習し、かつ真正データでの誤検出を防ぐことができるディープニューラルネットワークを設計・学習することが重要な課題である。我々は、改ざんされた境界のアーティファクトと入力画像のノイズビューを共同で利用するマルチビュー特徴学習を提案する。両手段とも意味にとらわれないため、学習された特徴は汎用的である。真正画像から効果的に学習するために、マルチスケール（画素／エッジ／画像）監視を用いた学習を行う。この新しいネットワークをMVSS-Netと呼び、その拡張版をMVSS-Net++と呼ぶ。データセット内とデータセット間の両方で実験を行い、MVSS-Net++が最も性能が良く、JPEG圧縮、ガウスぼかし、スクリーンショットに基づく画像の再キャプチャに対してより良い頑健性を示すことを示す。

要約(オリジナル)

As manipulating images by copy-move, splicing and/or inpainting may lead to misinterpretation of the visual content, detecting these sorts of manipulations is crucial for media forensics. Given the variety of possible attacks on the content, devising a generic method is nontrivial. Current deep learning based methods are promising when training and test data are well aligned, but perform poorly on independent tests. Moreover, due to the absence of authentic test images, their image-level detection specificity is in doubt. The key question is how to design and train a deep neural network capable of learning generalizable features sensitive to manipulations in novel data, whilst specific to prevent false alarms on the authentic. We propose multi-view feature learning to jointly exploit tampering boundary artifacts and the noise view of the input image. As both clues are meant to be semantic-agnostic, the learned features are thus generalizable. For effectively learning from authentic images, we train with multi-scale (pixel / edge / image) supervision. We term the new network MVSS-Net and its enhanced version MVSS-Net++. Experiments are conducted in both within-dataset and cross-dataset scenarios, showing that MVSS-Net++ performs the best, and exhibits better robustness against JPEG compression, Gaussian blur and screenshot based image re-capturing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL