TALL: Thumbnail Layout for Deepfake Video Detection

要約

社会とサイバーセキュリティに対するディープフェイクの脅威の増大は、社会の大きな懸念を引き起こしており、ディープフェイクビデオ検出というこの重要なテーマにますます多くの努力が注がれています。
既存のビデオ手法は優れたパフォーマンスを実現しますが、計算量が多くなります。
このペーパーでは、サムネイル レイアウト (TALL) という名前のシンプルかつ効果的な戦略を紹介します。これは、ビデオ クリップを事前定義されたレイアウトに変換して、空間的および時間的依存関係の保存を実現します。
具体的には、一般化を改善するために連続したフレームが各フレームの固定位置でマスクされ、サブ画像にサイズ変更され、サムネイルとして事前定義されたレイアウトに再配置されます。
TALL はモデルに依存せず、数行のコードを変更するだけで非常にシンプルです。
ビジョントランスフォーマーの成功にインスピレーションを得て、当社は TALL を Swin Transformer に組み込み、効率的かつ効果的なメソッド TALL-Swin を形成します。
データセット内およびデータセット間での広範な実験により、TALL および SOTA TALL-Swin の有効性と優位性が検証されます。
TALL-Swin は、困難なクロスデータセット タスクである FaceForensics++ $\to$ Celeb-DF で 90.79$\%$ AUC を達成しました。
コードは https://github.com/rainy-xu/TALL4Deepfake で入手できます。

要約(オリジナル)

The growing threats of deepfakes to society and cybersecurity have raised enormous public concerns, and increasing efforts have been devoted to this critical topic of deepfake video detection. Existing video methods achieve good performance but are computationally intensive. This paper introduces a simple yet effective strategy named Thumbnail Layout (TALL), which transforms a video clip into a pre-defined layout to realize the preservation of spatial and temporal dependencies. Specifically, consecutive frames are masked in a fixed position in each frame to improve generalization, then resized to sub-images and rearranged into a pre-defined layout as the thumbnail. TALL is model-agnostic and extremely simple by only modifying a few lines of code. Inspired by the success of vision transformers, we incorporate TALL into Swin Transformer, forming an efficient and effective method TALL-Swin. Extensive experiments on intra-dataset and cross-dataset validate the validity and superiority of TALL and SOTA TALL-Swin. TALL-Swin achieves 90.79$\%$ AUC on the challenging cross-dataset task, FaceForensics++ $\to$ Celeb-DF. The code is available at https://github.com/rainy-xu/TALL4Deepfake.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google