Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations

要約

ディープイメージ生成技術の開発の成功により、偽造検出は社会的および経済的安全保障においてより重要な役割を果たしています。
人種的偏見は、偽造検出の分野では十分に調査されていません。
この論文では、まず、Fair Forgery Detection (FairFD) データセットと呼ばれる専用のデータセットを提供し、そこで公共の最先端 (SOTA) 手法の人種的偏りを証明します。
既存の偽造検出データセットとは異なり、自己構築型の FairFD データセットには、バランスの取れた人種比率と、最大規模の被写体を含む多様な偽造生成画像が含まれています。
さらに、偽造検出モデルのベンチマークを行う際に、単純な公平性メトリクスの問題を特定します。
公平性を総合的に評価するために、誤った結果を回避できるアプローチ平均メトリクスやユーティリティ正規化メトリクスなどの新しいメトリクスを設計します。
9 つの代表的な偽造検出モデルを使用して行われた広範な実験により、提案されたデータセットの価値と設計された公平性メトリクスの妥当性が実証されました。
また、コミュニティの研究者にインスピレーションを与えるため、より詳細な分析を実施して、より多くの洞察を提供します。

要約(オリジナル)

Due to the successful development of deep image generation technology, forgery detection plays a more important role in social and economic security. Racial bias has not been explored thoroughly in the deep forgery detection field. In the paper, we first contribute a dedicated dataset called the Fair Forgery Detection (FairFD) dataset, where we prove the racial bias of public state-of-the-art (SOTA) methods. Different from existing forgery detection datasets, the self-construct FairFD dataset contains a balanced racial ratio and diverse forgery generation images with the largest-scale subjects. Additionally, we identify the problems with naive fairness metrics when benchmarking forgery detection models. To comprehensively evaluate fairness, we design novel metrics including Approach Averaged Metric and Utility Regularized Metric, which can avoid deceptive results. Extensive experiments conducted with nine representative forgery detection models demonstrate the value of the proposed dataset and the reasonability of the designed fairness metrics. We also conduct more in-depth analyses to offer more insights to inspire researchers in the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google