FFAA: Multimodal Large Language Model based Explainable Open-World Face Forgery Analysis Assistant

要約

ディープフェイク技術の急速な進歩は、特に顔の偽造が公共の情報セキュリティに深刻な脅威をもたらすため、広く一般の懸念を引き起こしています。
しかし、未知の多様な偽造技術、多様な顔の特徴、複雑な環境要因により、顔の偽造分析には大きな課題が生じています。
既存のデータセットにはこれらの側面の説明的なアノテーションが欠如しており、さまざまな交絡要因の中で視覚情報のみを使用してモデルが本物の顔と偽造された顔を区別することが困難になっています。
さらに、既存の方法ではユーザーフレンドリーで説明可能な結果が得られず、モデルの意思決定プロセスの理解を妨げています。
これらの課題に対処するために、新しいオープンワールド顔偽造分析 VQA (OW-FFA-VQA) タスクとそれに対応するベンチマークを導入します。
このタスクに取り組むために、私たちはまず、重要な説明と信頼できる偽造推論を備えた本物の顔画像と偽造された顔画像の多様なコレクションを特徴とするデータセットを確立します。
このデータセットに基づいて、微調整されたマルチモーダル大規模言語モデル (MLLM) と複数回答インテリジェント決定システム (MIDS) で構成される FFAA: 顔偽造分析アシスタントを紹介します。
仮説プロンプトを MIDS と統合することにより、あいまいな分類境界の影響が効果的に軽減され、モデルの堅牢性が向上します。
広範な実験により、私たちの方法がユーザーフレンドリーで説明可能な結果を​​提供するだけでなく、以前の方法と比較して精度と堅牢性が大幅に向上することが実証されました。

要約(オリジナル)

The rapid advancement of deepfake technologies has sparked widespread public concern, particularly as face forgery poses a serious threat to public information security. However, the unknown and diverse forgery techniques, varied facial features and complex environmental factors pose significant challenges for face forgery analysis. Existing datasets lack descriptive annotations of these aspects, making it difficult for models to distinguish between real and forged faces using only visual information amid various confounding factors. In addition, existing methods fail to yield user-friendly and explainable results, hindering the understanding of the model’s decision-making process. To address these challenges, we introduce a novel Open-World Face Forgery Analysis VQA (OW-FFA-VQA) task and its corresponding benchmark. To tackle this task, we first establish a dataset featuring a diverse collection of real and forged face images with essential descriptions and reliable forgery reasoning. Based on this dataset, we introduce FFAA: Face Forgery Analysis Assistant, consisting of a fine-tuned Multimodal Large Language Model (MLLM) and Multi-answer Intelligent Decision System (MIDS). By integrating hypothetical prompts with MIDS, the impact of fuzzy classification boundaries is effectively mitigated, enhancing model robustness. Extensive experiments demonstrate that our method not only provides user-friendly and explainable results but also significantly boosts accuracy and robustness compared to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google