要約
高度な映像生成手法によって生成される映像の品質が高まるにつれ、新たなセキュリティ上の課題が発生している：1)生成映像検出用のオープンソースデータセットが存在しない、2)生成映像検出手法がこれまで提案されていない。そこで、本研究では、生成映像のオープンソースデータセットと検出手法を初めて提案する。まず、OpenAIのSoraやGoogleのVeoのような最も人気のある商用モデルを含む、異なるアーキテクチャと生成方法を持つ様々な生成モデルだけでなく、様々な偽造対象、シーン、行動、アクションをカバーする964プロンプトからなるスケーラブルなデータセットを提案する。第二に、我々はプロービング実験により、空間的アーチファクトに基づく検出器には汎化性がないことを発見した。そこで、我々は、特徴学習中に空間的アーチファクトの影響を排除することで、時間的アーチファクトに焦点を当てる、シンプルで効果的な、〚フレーム〛に基づく〛テキスト〛検出モデル〛を提案する。広範な実験により、未見の映像生成モデルによって生成された映像の検出におけるDeCoFの有効性が実証され、商業的に独自に開発されたいくつかのモデルを横断する強力な汎用性が確認されました。我々のコードとデータセットは⦿URL{https://anonymous.4open.science/r/DeCoF-8394}で公開される予定である。
要約(オリジナル)
The escalating quality of video generated by advanced video generation methods results in new security challenges, while there have been few relevant research efforts: 1) There is no open-source dataset for generated video detection, 2) No generated video detection method has been proposed so far. To this end, we propose an open-source dataset and a detection method for generated video for the first time. First, we propose a scalable dataset consisting of 964 prompts, covering various forgery targets, scenes, behaviors, and actions, as well as various generation models with different architectures and generation methods, including the most popular commercial models like OpenAI’s Sora and Google’s Veo. Second, we found via probing experiments that spatial artifact-based detectors lack generalizability. Hence, we propose a simple yet effective \textbf{de}tection model based on \textbf{f}rame \textbf{co}nsistency (\textbf{DeCoF}), which focuses on temporal artifacts by eliminating the impact of spatial artifacts during feature learning. Extensive experiments demonstrate the efficacy of DeCoF in detecting videos generated by unseen video generation models and confirm its powerful generalizability across several commercially proprietary models. Our code and dataset will be released at \url{https://anonymous.4open.science/r/DeCoF-8394}.
arxiv情報
| 著者 | Long Ma,Jiajia Zhang,Hongping Deng,Ningyu Zhang,Qinglang Guo,Haiyang Yu,Yong Liao,Pengyuan Zhou |
| 発行日 | 2024-06-03 11:00:25+00:00 |
| arxivサイト | arxiv_id(pdf) |