Gotcha: A Challenge-Response System for Real-Time Deepfake Detection

要約

オンライン ビデオ インタラクションの完全性は、現在リアルタイムで展開可能な AI 対応の高品質なディープフェイクの普及によって脅かされています。
このホワイト ペーパーでは、ライブ ビデオ インタラクション用のリアルタイム ディープフェイク検出システムである Gotcha について説明します。
Gotcha の根底にある中核となる原則は、ビデオ会議の参加者に対して、能動的および受動的なチャレンジの特別に選択されたカスケードを提示することです。
アクティブな課題には、顔の閉塞、顔の表情、視野角、および雰囲気の変化を誘発することが含まれます。
受動的な課題には、ウェブカメラ フィードのデジタル操作が含まれます。
課題は、最新のディープフェイク ジェネレーターの構造の脆弱性をターゲットにし、人間の目に知覚可能なアーティファクトを作成すると同時に、ML ベースの自動ディープフェイク検出器の堅牢な信号を誘導するように設計されています。
さまざまな課題間の自然な階層を明らかにする、課題タスクの大規模なセットの包括的な分類法を提示します。
私たちのシステムは、この階層を活用して、より要求の厳しいチャレンジを、疑わしいディープフェイクに段階的にカスケードします。
ディープフェイクをエミュレートするライブ ユーザーの新しいデータセットでシステムを評価し、システムが一貫して測定可能なディープフェイク品質の低下を提供することを示し、実際に展開された場合の堅牢なリアルタイム ディープフェイク検出の可能性を示します。

要約(オリジナル)

The integrity of online video interactions is threatened by the widespread rise of AI-enabled high-quality deepfakes that are now deployable in real-time. This paper presents Gotcha, a real-time deepfake detection system for live video interactions. The core principle underlying Gotcha is the presentation of a specially chosen cascade of both active and passive challenges to video conference participants. Active challenges include inducing changes in face occlusion, face expression, view angle, and ambiance; passive challenges include digital manipulation of the webcam feed. The challenges are designed to target vulnerabilities in the structure of modern deepfake generators and create perceptible artifacts for the human eye while inducing robust signals for ML-based automatic deepfake detectors. We present a comprehensive taxonomy of a large set of challenge tasks, which reveals a natural hierarchy among different challenges. Our system leverages this hierarchy by cascading progressively more demanding challenges to a suspected deepfake. We evaluate our system on a novel dataset of live users emulating deepfakes and show that our system provides consistent, measurable degradation of deepfake quality, showcasing its promise for robust real-time deepfake detection when deployed in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google