Face Forgery Detection Based on Facial Region Displacement Trajectory Series

要約

ディープフェイクなどのディープラーニングに基づく技術、特に偽造顔画像を合成する技術が社会・学界で広く注目されています。
これらの自動でプロのスキルを必要としない顔操作技術を使用すると、元の画像やビデオの顔を、表情や態度を維持したまま任意のオブジェクトに置き換えることができます。
人間の顔は身元の特徴と密接に関連しているため、悪意を持って流布された身元操作されたビデオは、メディアに対する国民の信頼の危機を引き起こし、政治的、社会的、および法的に深刻な影響を与える可能性さえあります。
操作されたビデオを効果的に検出するために、正規化された偽造顔の強制アフィン変換に起因する、顔ブレンディング プロセスの位置オフセットに注目します。
顔領域の変位の軌跡に基づく改ざん映像の検出手法を紹介する．
具体的には、顔の軌跡を抽出するための仮想アンカーベースの方法を開発します。これは、変位情報をロバストに表すことができます。
この情報は、デュアル ストリームの時空間グラフの注意とゲート反復ユニット バックボーンに基づく操作されたビデオの軌跡シーケンスで多次元アーティファクトを公開するためのネットワークを構築するために使用されました。
さまざまな操作データセットでの方法のテストにより、その精度と一般化能力が主要な検出方法と競合することが実証されました。

要約(オリジナル)

Deep-learning-based technologies such as deepfakes ones have been attracting widespread attention in both society and academia, particularly ones used to synthesize forged face images. These automatic and professional-skill-free face manipulation technologies can be used to replace the face in an original image or video with any target object while maintaining the expression and demeanor. Since human faces are closely related to identity characteristics, maliciously disseminated identity manipulated videos could trigger a crisis of public trust in the media and could even have serious political, social, and legal implications. To effectively detect manipulated videos, we focus on the position offset in the face blending process, resulting from the forced affine transformation of the normalized forged face. We introduce a method for detecting manipulated videos that is based on the trajectory of the facial region displacement. Specifically, we develop a virtual-anchor-based method for extracting the facial trajectory, which can robustly represent displacement information. This information was used to construct a network for exposing multidimensional artifacts in the trajectory sequences of manipulated videos that is based on dual-stream spatial-temporal graph attention and a gated recurrent unit backbone. Testing of our method on various manipulation datasets demonstrated that its accuracy and generalization ability is competitive with that of the leading detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google