Audio-visual Deepfake Detection With Local Temporal Inconsistencies

要約

この論文では、オーディオとビジュアルのモダリティ間のきめ細かい時間的不一致を捕捉することを目的としたオーディオビジュアルディープフェイク検出アプローチを提案します。
これを達成するために、アーキテクチャ戦略とデータ合成戦略の両方が導入されます。
アーキテクチャの観点から見ると、時間的距離マップとアテンション メカニズムは、無関係な時間的サブシーケンスの影響を最小限に抑えながら、これらの不一致を捉えるように設計されています。
さらに、局所的な不一致を合成するための新しい擬似フェイク生成手法を探索します。
私たちのアプローチは、DFDC および FakeAVCeleb データセットを使用した最先端の方法に対して評価され、オーディオビジュアルディープフェイクの検出におけるその有効性が実証されています。

要約(オリジナル)

This paper proposes an audio-visual deepfake detection approach that aims to capture fine-grained temporal inconsistencies between audio and visual modalities. To achieve this, both architectural and data synthesis strategies are introduced. From an architectural perspective, a temporal distance map, coupled with an attention mechanism, is designed to capture these inconsistencies while minimizing the impact of irrelevant temporal subsequences. Moreover, we explore novel pseudo-fake generation techniques to synthesize local inconsistencies. Our approach is evaluated against state-of-the-art methods using the DFDC and FakeAVCeleb datasets, demonstrating its effectiveness in detecting audio-visual deepfakes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google