Exploring Depth Information for Detecting Manipulated Face Videos

要約

顔操作検出は、顔画像/動画の信頼性と安全性を確保するために大きな注目を集めています。
最近の研究は、補助情報や事前知識を使用して堅牢な操作痕跡を捕捉することに焦点を当てており、これは有望であることが示されています。
重要な顔の特徴の 1 つである顔深度マップは、顔認識や顔検出などの他の分野では効果的であることが示されていますが、残念ながら顔操作検出に関する文献ではほとんど注目されていません。
この論文では、堅牢な顔操作検出のための補助情報として顔深度マップを組み込む可能性を検討します。
この目的を達成するために、我々はまず、RGB 顔画像からパッチごとに顔深度マップを推定する顔深度マップ変換器 (FDMT) を提案します。これは、操作によって作成された局所的な深さの異常を捉えることができます。
推定された顔深度マップは、新たに設計されたマルチヘッド深度アテンション (MDA) メカニズムを使用して、バックボーン特徴と統合される補助情報として考慮されます。
また、マルチフレーム入力のフレーム間不一致を効果的にキャプチャするための RGB 深度不一致アテンション (RDIA) モジュールも提案します。
さまざまな実験により、私たちが提案した顔操作検出方法の利点が実証されています。

要約(オリジナル)

Face manipulation detection has been receiving a lot of attention for the reliability and security of the face images/videos. Recent studies focus on using auxiliary information or prior knowledge to capture robust manipulation traces, which are shown to be promising. As one of the important face features, the face depth map, which has shown to be effective in other areas such as face recognition or face detection, is unfortunately paid little attention to in literature for face manipulation detection. In this paper, we explore the possibility of incorporating the face depth map as auxiliary information for robust face manipulation detection. To this end, we first propose a Face Depth Map Transformer (FDMT) to estimate the face depth map patch by patch from an RGB face image, which is able to capture the local depth anomaly created due to manipulation. The estimated face depth map is then considered as auxiliary information to be integrated with the backbone features using a Multi-head Depth Attention (MDA) mechanism that is newly designed. We also propose an RGB-Depth Inconsistency Attention (RDIA) module to effectively capture the inter-frame inconsistency for multi-frame input. Various experiments demonstrate the advantage of our proposed method for face manipulation detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google