On the Effectiveness of Image Manipulation Detection in the Age of Social Media

要約

タイトル：ソーシャルメディア時代における画像改変検出の効果について

要約：
– 画像改変検出アルゴリズムは、ローカルな異常を識別するために設計されており、改変された領域が画像の非改変領域と十分に異なることを前提としている。
– しかしながら、高品質の改変ではそれらの異常が容易に識別できない場合があり、それらの使用はしばしば特定の編集ツールと関連するという前提に基づいている。
– これにより、改変検出のタスク自体が困難になり、最先端の検出器は限られた数の改変タイプしか検出できない。
– さらに重要なことに、異常の前提が成立していない場合、非改変の画像で偽陽性を検出することが深刻な問題となる。
– 現在の改変検出の状況を理解するために、我々は深層学習ベースと学習フリーの方法について詳細な分析を行い、改変サンプルと非改変サンプルを含むさまざまなベンチマークデータセット上でのパフォーマンスを評価した。
– 異なる改変を検出するための彼らの適性、および非改変データを与えられた場合の彼らの堅牢性について包括的な研究を提供する。
– さらに、我々は、改変領域に存在する異常を強調して多様な改変検出手法により容易に識別可能にするための新しい深層学習ベースの前処理技術を提案する。
– このために、我々は異常強調損失と呼ばれる手法を導入し、残差アーキテクチャと共に使用することで、非改変データに偽陽性を最小限に抑えつつ、さまざまな検出アルゴリズムのパフォーマンスを改善する。
– 最後に、標準的な検出アルゴリズムを含むオープンソースの改変検出ツールキットを紹介する。

要約(オリジナル)

Image manipulation detection algorithms designed to identify local anomalies often rely on the manipulated regions being “sufficiently” different from the rest of the non-tampered regions in the image. However, such anomalies might not be easily identifiable in high-quality manipulations, and their use is often based on the assumption that certain image phenomena are associated with the use of specific editing tools. This makes the task of manipulation detection hard in and of itself, with state-of-the-art detectors only being able to detect a limited number of manipulation types. More importantly, in cases where the anomaly assumption does not hold, the detection of false positives in otherwise non-manipulated images becomes a serious problem. To understand the current state of manipulation detection, we present an in-depth analysis of deep learning-based and learning-free methods, assessing their performance on different benchmark datasets containing tampered and non-tampered samples. We provide a comprehensive study of their suitability for detecting different manipulations as well as their robustness when presented with non-tampered data. Furthermore, we propose a novel deep learning-based pre-processing technique that accentuates the anomalies present in manipulated regions to make them more identifiable by a variety of manipulation detection methods. To this end, we introduce an anomaly enhancement loss that, when used with a residual architecture, improves the performance of different detection algorithms with a minimal introduction of false positives on the non-manipulated data. Lastly, we introduce an open-source manipulation detection toolkit comprising a number of standard detection algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI