Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection

要約

ディープフェイクの検出は、トレーニング データとテスト データの分布に不一致があるとパフォーマンスが低下するという、重大な一般化のハードルに直面しています。
広く受け入れられている説明は、これらの検出器は、さまざまな偽造品に広く適用できる学習機能ではなく、偽造品特有のアーティファクトに過剰適合する傾向があるというものです。
この問題に対処するために、我々は LSDA (\underline{L}atent \underline{S}pace \underline{D}ata \underline{A}ugmentation) と呼ばれるシンプルかつ効果的な検出器を提案します。これはヒューリスティックなアイデアに基づいています。
より幅広い種類の偽造を使用すると、より一般化可能な決定境界を学習できるようになり、それによってメソッド固有の機能の過剰適合が軽減されるはずです (図 ~\ref{fig:toy} を参照)。
このアイデアに従って、潜在空間内の偽造特徴内および偽造特徴全体にわたる変動を構築およびシミュレートすることによって、偽造空間を拡大することを提案します。
このアプローチには、強化されたドメイン固有の機能の取得と、異なる偽造タイプ間のスムーズな移行の促進が含まれており、ドメインのギャップを効果的に橋渡しします。
私たちのアプローチは、強化された機能から抽出された知識を活用するバイナリ分類器を改良することで最高潮に達し、一般化可能なディープフェイク検出器を目指します。
包括的な実験により、私たちが提案した方法が驚くほど効果的であり、広く使用されているいくつかのベンチマークにわたって最先端の検出器を超えていることが示されています。

要約(オリジナル)

Deepfake detection faces a critical generalization hurdle, with performance deteriorating when there is a mismatch between the distributions of training and testing data. A broadly received explanation is the tendency of these detectors to be overfitted to forgery-specific artifacts, rather than learning features that are widely applicable across various forgeries. To address this issue, we propose a simple yet effective detector called LSDA (\underline{L}atent \underline{S}pace \underline{D}ata \underline{A}ugmentation), which is based on a heuristic idea: representations with a wider variety of forgeries should be able to learn a more generalizable decision boundary, thereby mitigating the overfitting of method-specific features (see Fig.~\ref{fig:toy}). Following this idea, we propose to enlarge the forgery space by constructing and simulating variations within and across forgery features in the latent space. This approach encompasses the acquisition of enriched, domain-specific features and the facilitation of smoother transitions between different forgery types, effectively bridging domain gaps. Our approach culminates in refining a binary classifier that leverages the distilled knowledge from the enhanced features, striving for a generalizable deepfake detector. Comprehensive experiments show that our proposed method is surprisingly effective and transcends state-of-the-art detectors across several widely used benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google