UCF: Uncovering Common Features for Generalizable Deepfake Detection

要約

タイトル：UCF：汎用的Deepfake検出のための共通特徴の発見

要約：
– Deepfake検出は、新しい種類の偽造物に汎用性を持たせることの難しさのために、依然として困難な課題である。
– これは、既存の検出方法が、偽造に関係ない特徴や方法固有のパターンに過剰適合しているためである。
– 本論文では、共通の偽造特徴を発見することで、2つの過剰適合問題に対処する新しいアプローチを提案する。
– 具体的には、画像情報を偽造に関係のない、方法固有の偽造、そして共通の偽造特徴の3つの異なるコンポーネントに分解する分離フレームワークを提案する。
– 方法固有の偽造と共通の偽造特徴を分離するために、マルチタスク学習戦略が採用され、偽造方法のカテゴリを予測するマルチクラス分類と、本物と偽物を区別するバイナリ分類が含まれる。
– さらに、条件付きデコーダを設計して、偽造要素を条件として活用し、偽造に関係のない要素と共に再構成画像を生成する。
– さらに、共通と特定の偽造特徴を分離するための対照的な正則化技術が提案されている。
– 最終的に、私たちは汎用的Deepfake検出のために共通の偽造特徴のみを活用する。
– 大規模な評価により、私たちのフレームワークが現在の最先端の方法よりも優れた汎用性を発揮することが示されている。

要約(オリジナル)

Deepfake detection remains a challenging task due to the difficulty of generalizing to new types of forgeries. This problem primarily stems from the overfitting of existing detection methods to forgery-irrelevant features and method-specific patterns. The latter is often ignored by previous works. This paper presents a novel approach to address the two types of overfitting issues by uncovering common forgery features. Specifically, we first propose a disentanglement framework that decomposes image information into three distinct components: forgery-irrelevant, method-specific forgery, and common forgery features. To ensure the decoupling of method-specific and common forgery features, a multi-task learning strategy is employed, including a multi-class classification that predicts the category of the forgery method and a binary classification that distinguishes the real from the fake. Additionally, a conditional decoder is designed to utilize forgery features as a condition along with forgery-irrelevant features to generate reconstructed images. Furthermore, a contrastive regularization technique is proposed to encourage the disentanglement of the common and specific forgery features. Ultimately, we only utilize the common forgery features for the purpose of generalizable deepfake detection. Extensive evaluations demonstrate that our framework can perform superior generalization than current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI