GRACE: Graph-Regularized Attentive Convolutional Entanglement with Laplacian Smoothing for Robust DeepFake Video Detection

要約

ディープフェイクのビデオ操作技術がエスカレートし、深刻な脅威をもたらしているため、効率的な検出戦略を開発する緊急の必要性が強調されています。
ただし、特定の問題の 1 つは、顔画像の誤検出にあり、多くの場合、劣化したビデオや敵対的攻撃に起因し、予期せぬ一時的なアーティファクトが発生し、ディープフェイクビデオ検出技術の有効性を損なう可能性があります。
この論文では、グラフ ラプラシアンを使用したグラフ畳み込みネットワークに基づいて提案されているグラフ正規化された注意畳み込みエンタングルメント (GRACE) の力を利用して、前述の課題に対処する、堅牢な DeepFake ビデオ検出のための新しい方法を紹介します。
まず、従来の畳み込みニューラル ネットワークがビデオ全体の時空間機能を実行するために展開されます。
次に、スパース制約を使用してグラフを構築することにより、空間的および時間的特徴が相互に絡み合い、残りのノイズの多い顔シーケンスに有効な顔画像の重要な特徴が強制されるため、ディープフェイクビデオ検出の安定性とパフォーマンスが向上します。
さらに、グラフ畳み込みネットワークでは、特徴空間内のノイズ パターンを除去してパフォーマンスをさらに向上させるために、グラフ ラプラシアン事前分布が提案されています。
包括的な実験は、私たちの提案した方法が、ノイズの多い顔シーケンスの下でディープフェイクビデオ検出において最先端のパフォーマンスを提供することを示すために行われます。
ソース コードは https://github.com/ming053l/GRACE で入手できます。

要約(オリジナル)

As DeepFake video manipulation techniques escalate, posing profound threats, the urgent need to develop efficient detection strategies is underscored. However, one particular issue lies with facial images being mis-detected, often originating from degraded videos or adversarial attacks, leading to unexpected temporal artifacts that can undermine the efficacy of DeepFake video detection techniques. This paper introduces a novel method for robust DeepFake video detection, harnessing the power of the proposed Graph-Regularized Attentive Convolutional Entanglement (GRACE) based on the graph convolutional network with graph Laplacian to address the aforementioned challenges. First, conventional Convolution Neural Networks are deployed to perform spatiotemporal features for the entire video. Then, the spatial and temporal features are mutually entangled by constructing a graph with sparse constraint, enforcing essential features of valid face images in the noisy face sequences remaining, thus augmenting stability and performance for DeepFake video detection. Furthermore, the Graph Laplacian prior is proposed in the graph convolutional network to remove the noise pattern in the feature space to further improve the performance. Comprehensive experiments are conducted to illustrate that our proposed method delivers state-of-the-art performance in DeepFake video detection under noisy face sequences. The source code is available at https://github.com/ming053l/GRACE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google