Exposing Image Splicing Traces in Scientific Publications via Uncertainty-guided Refinement

要約

最近、画像操作の疑いのある科学出版物の急増により、多数の撤回が発生し、画像の完全性の問題がクローズアップされています。
画像盗用や画像合成のための法医学検出器に関する研究は存在しますが、科学出版物における画像スプライシングの痕跡の検出については未調査のままです。
画像の複製や合成と比較して、画像のスプライシングの検出は、参照画像が不足しており、通常は改ざん領域が小さいため、より困難です。
さらに、デジタル圧縮によるアーティファクト、異常なパターン、物理的操作によるノイズなど、科学画像の破壊的な要因により、継ぎ目の痕跡などの誤解を招く特徴が現れ、このタスクの難易度が大幅に高まります。
さらに、つなぎ合わせられた科学画像の高品質データセットが不足しているため、潜在的な進歩が制限されています。
この研究では、これらの破壊的要因の影響を軽減するために、不確実性誘導リファインメント ネットワーク (URN) を提案します。
私たちの URN は、領域間の破壊的要因によって引き起こされる信頼性の低い情報フローの伝播を明示的に抑制することができるため、堅牢なスプライシング特徴が得られます。
さらに、URN は、デコード段階で不確実な予測領域を集中的に改善するように設計されています。
また、1,290 枚のスプライスされた画像を含む画像スプライシング検出用のデータセット (SciSp) も構築します。
既存のデータセットと比較して、SciSp には最も多くのスプライスされた画像と最も多様なソースが含まれています。
3 つのベンチマーク データセットに対して行われた包括的な実験により、私たちのアプローチの優位性が実証されました。
また、データセット間のドメイン シフトに耐える URN の汎用性と、高度なディープラーニング ベースの修復を含むさまざまな後処理技術に対する堅牢性も検証します。

要約(オリジナル)

Recently, a surge in scientific publications suspected of image manipulation has led to numerous retractions, bringing the issue of image integrity into sharp focus. Although research on forensic detectors for image plagiarism and image synthesis exists, the detection of image splicing traces in scientific publications remains unexplored. Compared to image duplication and synthesis, image splicing detection is more challenging due to the lack of reference images and the typically small tampered areas. Furthermore, disruptive factors in scientific images, such as artifacts from digital compression, abnormal patterns, and noise from physical operations, present misleading features like splicing traces, significantly increasing the difficulty of this task. Moreover, the scarcity of high-quality datasets of spliced scientific images limits potential advancements. In this work, we propose an Uncertainty-guided Refinement Network (URN) to mitigate the impact of these disruptive factors. Our URN can explicitly suppress the propagation of unreliable information flow caused by disruptive factors between regions, thus obtaining robust splicing features. Additionally, the URN is designed to concentrate improvements in uncertain prediction areas during the decoding phase. We also construct a dataset for image splicing detection (SciSp) containing 1,290 spliced images. Compared to existing datasets, SciSp includes the largest number of spliced images and the most diverse sources. Comprehensive experiments conducted on three benchmark datasets demonstrate the superiority of our approach. We also validate the URN’s generalisability in resisting cross-dataset domain shifts and its robustness against various post-processing techniques, including advanced deep-learning-based inpainting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google