Exploiting Style Latent Flows for Generalizing Deepfake Video Detection

要約

この論文は、生成されたビデオの時間的変化におけるスタイル潜在ベクトルとその異常な動作の分析に基づいて、フェイクビデオを検出するための新しいアプローチを紹介します。
生成された顔ビデオは、さまざまな表情や幾何学的変形を伴う時間的に安定したビデオを生成する際に避けられない、スタイル潜在ベクトルの時間的変化における時間的特異性を受けていることを発見しました。
私たちのフレームワークは、スタイル潜在ベクトルの動的プロパティを表現するために、対照学習によって訓練された StyleGRU モジュールを利用します。
さらに、StyleGRU で生成された機能とコンテンツベースの機能を統合するスタイル アテンション モジュールを導入し、視覚的および時間的アーチファクトの検出を可能にします。
ディープフェイク検出におけるさまざまなベンチマーク シナリオにわたるアプローチを実証し、データセット間および操作間シナリオにおけるその優位性を示します。
さらなる分析を通じて、ディープフェイクビデオ検出の汎用性を向上させるためにスタイル潜在ベクトルの時間的変化を使用することの重要性も検証します。

要約(オリジナル)

This paper presents a new approach for the detection of fake videos, based on the analysis of style latent vectors and their abnormal behavior in temporal changes in the generated videos. We discovered that the generated facial videos suffer from the temporal distinctiveness in the temporal changes of style latent vectors, which are inevitable during the generation of temporally stable videos with various facial expressions and geometric transformations. Our framework utilizes the StyleGRU module, trained by contrastive learning, to represent the dynamic properties of style latent vectors. Additionally, we introduce a style attention module that integrates StyleGRU-generated features with content-based features, enabling the detection of visual and temporal artifacts. We demonstrate our approach across various benchmark scenarios in deepfake detection, showing its superiority in cross-dataset and cross-manipulation scenarios. Through further analysis, we also validate the importance of using temporal changes of style latent vectors to improve the generality of deepfake video detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google