AI-Generated Video Detection via Spatio-Temporal Anomaly Learning

要約

生成モデルの進歩により、人工知能 (AI) によって生成された非常に現実的なビデオが登場しました。
悪意のあるユーザーは、存在しないビデオを簡単に作成して、虚偽の情報を広めることができます。
このレターでは、2 ブランチの時空間畳み込みニューラル ネットワーク (CNN) でフォレンジック トレースをキャプチャすることにより、効果的な AI 生成ビデオ検出 (AIGVDet) スキームを提案します。
具体的には、空間フロー ドメインとオプティカル フロー ドメインの異常をそれぞれ識別するために、2 つの ResNet サブ検出器が個別に学習されます。
このようなサブ検出器の結果を融合して、識別能力をさらに強化します。
大規模に生成されたビデオ データセット (GVD) は、モデルのトレーニングと評価のベンチマークとして構築されます。
広範な実験結果により、AIGVDet スキームの高い一般性と堅牢性が検証されています。
コードとデータセットは https://github.com/multimediaFor/AIGVDet で入手できます。

要約(オリジナル)

The advancement of generation models has led to the emergence of highly realistic artificial intelligence (AI)-generated videos. Malicious users can easily create non-existent videos to spread false information. This letter proposes an effective AI-generated video detection (AIGVDet) scheme by capturing the forensic traces with a two-branch spatio-temporal convolutional neural network (CNN). Specifically, two ResNet sub-detectors are learned separately for identifying the anomalies in spatical and optical flow domains, respectively. Results of such sub-detectors are fused to further enhance the discrimination ability. A large-scale generated video dataset (GVD) is constructed as a benchmark for model training and evaluation. Extensive experimental results verify the high generalization and robustness of our AIGVDet scheme. Code and dataset will be available at https://github.com/multimediaFor/AIGVDet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google