Enhanced Wavelet Scattering Network for image inpainting detection

要約

画像修復ツール、特にアーティファクトの除去を目的としたツールの急速な進歩により、デジタル画像操作が驚くほどアクセスしやすくなりました。
この論文では、特徴抽出のためのデュアルツリー複素ウェーブレット変換 (DT-CWT) と偽造領域の検出と位置特定のための畳み込みニューラル ネットワーク (CNN) を組み合わせ、最後に
テクスチャ セグメンテーションとノイズ分散推定の革新的な組み合わせです。
DT-CWT はシフト不変性により大きな利点をもたらし、修復プロセス中の微妙な操作に対する堅牢性を高めます。
さらに、その方向選択性により、特定の周波数帯域および方向内での修復によって導入された微妙なアーティファクトの検出が可能になります。
さまざまなニューラル ネットワーク アーキテクチャが評価され、提案されました。
最後に、テクスチャ分析とノイズ分散推定を組み合わせて偽造領域を与える融合検出モジュールを提案します。
私たちのアプローチは最先端の方法に対してベンチマークされ、引用されたすべての代替方法よりも優れたパフォーマンスを実証しました。
データセットが https://github.com/jmaba/Deep-dual-tree-complex-neural-network-for-image-inpainting-detection で入手できる限り、トレーニング コード (事前トレーニングされたモデルの重みを含む)

要約(オリジナル)

The rapid advancement of image inpainting tools, especially those aimed at removing artifacts, has made digital image manipulation alarmingly accessible. This paper proposes several innovative ideas for detecting inpainting forgeries based on low level noise analysis by combining Dual-Tree Complex Wavelet Transform (DT-CWT) for feature extraction with convolutional neural networks (CNN) for forged area detection and localization, and lastly by employing an innovative combination of texture segmentation with noise variance estimations. The DT-CWT offers significant advantages due to its shift-invariance, enhancing its robustness against subtle manipulations during the inpainting process. Furthermore, its directional selectivity allows for the detection of subtle artifacts introduced by inpainting within specific frequency bands and orientations. Various neural network architectures were evaluated and proposed. Lastly, we propose a fusion detection module that combines texture analysis with noise variance estimation to give the forged area. Our approach was benchmarked against state-of-the-art methods and demonstrated superior performance over all cited alternatives. The training code (with pretrained model weights) as long as the dataset will be available at https://github.com/jmaba/Deep-dual-tree-complex-neural-network-for-image-inpainting-detection

arxiv情報

提供元, 利用サービス

arxiv.jp, Google