Learning Feature Disentanglement and Dynamic Fusion for Recaptured Image Forensic

要約

画像の再キャプチャは、他の人の画像を再キャプチャすることによってシステムを欺く人工知能（AI）システムの公平性を著しく損ないます。
既存の再キャプチャモデルのほとんどは、固定電子デバイスを使用してシミュレートされた再キャプチャ画像を含むデータセットに基づいて、単一パターンの再キャプチャ（モアレ、エッジ、アーティファクトなど）にしか対応できません。
この論文では、画像再キャプチャフォレンジックタスクを、画像再キャプチャ認識の4つのパターン、つまりモアレ再キャプチャ、エッジ再キャプチャ、アーティファクト再キャプチャ、およびその他の再キャプチャとして明示的に再定義します。
一方、異なる再キャプチャパターン認識をカバーするための最も効果的な再キャプチャ機能表現を適応的に学習するために、新しい機能解きほぐしと動的融合（FDDF）モデルを提案します。
さらに、以前に公開されたデータセットの約5倍である、さまざまな再キャプチャパターンを含む大規模なReal-scene Universal Recapture（RUR）データセットを収集します。
私たちの知る限り、私たちは、再キャプチャされた画像フォレンジック用の一般的なモデルと一般的な実シーンの大規模データセットを最初に提案しました。
広範な実験により、提案されたFDDFはRURデータセットで最先端のパフォーマンスを達成できることが示されています。

要約(オリジナル)

Image recapture seriously breaks the fairness of artificial intelligent (AI) systems, which deceives the system by recapturing others’ images. Most of the existing recapture models can only address a single pattern of recapture (e.g., moire, edge, artifact, and others) based on the datasets with simulated recaptured images using fixed electronic devices. In this paper, we explicitly redefine image recapture forensic task as four patterns of image recapture recognition, i.e., moire recapture, edge recapture, artifact recapture, and other recapture. Meanwhile, we propose a novel Feature Disentanglement and Dynamic Fusion (FDDF) model to adaptively learn the most effective recapture feature representation for covering different recapture pattern recognition. Furthermore, we collect a large-scale Real-scene Universal Recapture (RUR) dataset containing various recapture patterns, which is about five times the number of previously published datasets. To the best of our knowledge, we are the first to propose a general model and a general real-scene large-scale dataset for recaptured image forensic. Extensive experiments show that our proposed FDDF can achieve state-of-the-art performance on the RUR dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google