Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey

要約

この調査は、人工知能の急速な進歩の中でディープフェイク検出という重大な課題に取り組んでいます。
ビデオ、オーディオ、テキストなどの AI 生成メディアがより現実的になるにつれて、誤った情報を広めたり、なりすまし詐欺を行ったりするために悪用されるリスクが増加します。
顔中心のディープフェイクに焦点を当てたこの研究では、従来の単一モダリティ手法から、オーディオビジュアルおよびテキストビジュアルシナリオを処理する洗練されたマルチモーダルアプローチへの進化を追跡しています。
検出技術の包括的な分類を提供し、自動エンコーダーや GAN から拡散モデルに至る生成手法の進化について議論し、これらの技術を独自の属性によって分類します。
私たちの知る限り、これはこの種の調査としては初めてです。
また、検出方法を新しい生成モデルに適応させ、ディープフェイク検出器の信頼性と堅牢性を強化するという課題を調査し、将来の研究の方向性を提案します。
この調査は研究者に詳細なロードマップを提供し、メディア作成における AI の不正使用、特に顔の偽造に対抗する技術の開発をサポートします。
すべての関連論文の厳選されたリストは、\href{https://github.com/qiqitao77/Comprehensive-Advances-in-Deepfake-Detection-Spanning-Diverse-Modalities}{https://github.com/qiqitao77 でご覧いただけます。
/素晴らしい総合ディープフェイク検出}。

要約(オリジナル)

This survey addresses the critical challenge of deepfake detection amidst the rapid advancements in artificial intelligence. As AI-generated media, including video, audio and text, become more realistic, the risk of misuse to spread misinformation and commit identity fraud increases. Focused on face-centric deepfakes, this work traces the evolution from traditional single-modality methods to sophisticated multi-modal approaches that handle audio-visual and text-visual scenarios. We provide comprehensive taxonomies of detection techniques, discuss the evolution of generative methods from auto-encoders and GANs to diffusion models, and categorize these technologies by their unique attributes. To our knowledge, this is the first survey of its kind. We also explore the challenges of adapting detection methods to new generative models and enhancing the reliability and robustness of deepfake detectors, proposing directions for future research. This survey offers a detailed roadmap for researchers, supporting the development of technologies to counter the deceptive use of AI in media creation, particularly facial forgery. A curated list of all related papers can be found at \href{https://github.com/qiqitao77/Comprehensive-Advances-in-Deepfake-Detection-Spanning-Diverse-Modalities}{https://github.com/qiqitao77/Awesome-Comprehensive-Deepfake-Detection}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google