Quantitative Metrics for Evaluating Explanations of Video DeepFake Detectors

要約

現代社会において、DeepFake技術の普及は、より強力で利用しやすい生成方法によるものであり、その課題は高まっています。その対策として、研究者コミュニティでは精度を高めつつある検出器を開発してきました。しかし、コンテンツモデレーションのための自動化ツールを正しく展開するための重要な要件であるにもかかわらず、こうしたモデルの判断をユーザーに説明する能力が背後に欠けており、大規模ベンチマークでは付属品と見なされています。我々は、この問題を、定性的比較への依存と、確立されたメトリックの欠如に起因すると考えている。我々は、人間中心の観点から、ビデオDeepFake分類器の説明の視覚的品質と情報性を評価するための簡単なメトリックのセットを説明する。これらのメトリクスを用いて、説明の品質を向上させるための一般的なアプローチを比較し、最近のDFDCとDFDデータセットにおける分類と説明の両方のパフォーマンスへの影響について議論する。

要約(オリジナル)

The proliferation of DeepFake technology is a rising challenge in today’s society, owing to more powerful and accessible generation methods. To counter this, the research community has developed detectors of ever-increasing accuracy. However, the ability to explain the decisions of such models to users is lacking behind and is considered an accessory in large-scale benchmarks, despite being a crucial requirement for the correct deployment of automated tools for content moderation. We attribute the issue to the reliance on qualitative comparisons and the lack of established metrics. We describe a simple set of metrics to evaluate the visual quality and informativeness of explanations of video DeepFake classifiers from a human-centric perspective. With these metrics, we compare common approaches to improve explanation quality and discuss their effect on both classification and explanation performance on the recent DFDC and DFD datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL