$X^2$-DFD: A framework for eXplainable and eXtendable Deepfake Detection

要約

ディープフェイクの検出は重要な課題となっている。既存の検出手法のほとんどは、人間が理解できる説明を提供することなく、本物か偽物かの予測のみを提供する。ディープフェイク検出にMLLMを活用した最近の研究では、説明可能性の向上が示されている。しかし、事前に訓練されたMLLM（例えば、LLaVA）の性能は、このタスクに対するMLLMの能力とそれを強化する戦略に対する理解が不足しているため、依然として限定的である。本研究では、特に偽造特徴分析によるディープフェイク検出におけるMLLMの長所と短所を実証的に評価する。これらの評価に基づき、3つのコアモジュールから構成される${X}^2$-DFDと呼ばれる新しいフレームワークを提案する。最初のモジュールであるモデル特徴評価（MFA）は、MLLMに内在する偽造特徴の検出能力を測定し、これらの特徴の降順ランキングを与える。2番目のモジュールである強力特徴強化（SFS）は、上位にランク付けされた特徴に基づいて構築されたデータセット上でMLLMを微調整することにより、検出および説明能力を強化する。第3のモジュールであるWeak Feature Supplementing (WFS)は、外部の専用ディープフェイク検出器を統合することで、微調整されたMLLMの低ランク特徴に対する能力を向上させる。本フレームワークの有効性を検証するため、MFAモジュールには、自動化された偽造特徴生成、評価、およびランク付け手順を設計し、SFSモデルには、上位にランク付けされた特徴に基づく説明付きの実画像と偽造画像を含む微調整データセットの自動生成手順を開発し、WFSモジュールには、事前学習されたMLLMの低い検出能力に対応するブレンドアーチファクトに焦点を当てた外部の従来のディープフェイク検出器を統合した、実用的な実装を示す。実験により、我々のアプローチが検出と説明の両方の性能を向上させることが示された。

要約(オリジナル)

Detecting deepfakes has become an important task. Most existing detection methods provide only real/fake predictions without offering human-comprehensible explanations. Recent studies leveraging MLLMs for deepfake detection have shown improvements in explainability. However, the performance of pre-trained MLLMs (e.g., LLaVA) remains limited due to a lack of understanding of their capabilities for this task and strategies to enhance them. In this work, we empirically assess the strengths and weaknesses of MLLMs specifically in deepfake detection via forgery features analysis. Building on these assessments, we propose a novel framework called ${X}^2$-DFD, consisting of three core modules. The first module, Model Feature Assessment (MFA), measures the detection capabilities of forgery features intrinsic to MLLMs, and gives a descending ranking of these features. The second module, Strong Feature Strengthening (SFS), enhances the detection and explanation capabilities by fine-tuning the MLLM on a dataset constructed based on the top-ranked features. The third module, Weak Feature Supplementing (WFS), improves the fine-tuned MLLM’s capabilities on lower-ranked features by integrating external dedicated deepfake detectors. To verify the effectiveness of this framework, we further present a practical implementation, where an automated forgery features generation, evaluation, and ranking procedure is designed for MFA module; an automated generation procedure of the fine-tuning dataset containing real and fake images with explanations based on top-ranked features is developed for SFS model; an external conventional deepfake detector focusing on blending artifact, which corresponds to a low detection capability in the pre-trained MLLM, is integrated for WFS module. Experiments show that our approach enhances both detection and explanation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL