TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization

要約

このホワイトペーパーでは、古典的なチープフェイクからディープラーニングに基づく最近の操作まで、多種多様な画像操作方法に適用できるフォレンジックフレームワークである TruFor を紹介します。
RGB 画像と学習したノイズに敏感なフィンガープリントを組み合わせたトランスフォーマー ベースのフュージョン アーキテクチャによる、高レベルと低レベルの両方のトレースの抽出に依存しています。
後者は、自己管理型の方法で実際のデータのみをトレーニングすることにより、カメラの内部および外部処理に関連するアーティファクトを埋め込むことを学習します。
偽造は、それぞれの元の画像を特徴付ける予想される規則的なパターンからの逸脱として検出されます。
異常を探すことで、アプローチはさまざまなローカル操作を確実に検出できるようになり、一般化が保証されます。
ピクセル レベルのローカリゼーション マップと画像全体の整合性スコアに加えて、私たちのアプローチは、ローカリゼーション予測でエラーが発生しやすい領域を強調する信頼性マップを出力します。
これは、誤警報を減らし、大規模な分析を可能にするために、フォレンジック アプリケーションで特に重要です。
いくつかのデータセットでの広範な実験は、私たちの方法が最先端の作品よりも優れたチープフェイクとディープフェイクの両方の操作を確実に検出してローカライズできることを示しています。
コードは https://grip-unina.github.io/TruFor/ で公開されます

要約(オリジナル)

In this paper we present TruFor, a forensic framework that can be applied to a large variety of image manipulation methods, from classic cheapfakes to more recent manipulations based on deep learning. We rely on the extraction of both high-level and low-level traces through a transformer-based fusion architecture that combines the RGB image and a learned noise-sensitive fingerprint. The latter learns to embed the artifacts related to the camera internal and external processing by training only on real data in a self-supervised manner. Forgeries are detected as deviations from the expected regular pattern that characterizes each pristine image. Looking for anomalies makes the approach able to robustly detect a variety of local manipulations, ensuring generalization. In addition to a pixel-level localization map and a whole-image integrity score, our approach outputs a reliability map that highlights areas where localization predictions may be error-prone. This is particularly important in forensic applications in order to reduce false alarms and allow for a large scale analysis. Extensive experiments on several datasets show that our method is able to reliably detect and localize both cheapfakes and deepfakes manipulations outperforming state-of-the-art works. Code will be publicly available at https://grip-unina.github.io/TruFor/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google