要約
近年、DeepFakeによる画像や映像の加工がセキュリティや社会で深刻な問題となっています。そのため、DeepFakeデータを確実に検出するための検出モデルやデータベースが多数提案されています。しかし、これらのモデルや学習データベースには偏りがあるため、DeepFake検出器が失敗する可能性があることが懸念されています。本研究では、（a）一般的な5つのDeepFakeデータセットに対して41種類の大規模な人口統計学的および非民生学的属性アノテーションを提供し、（b）これらのデータベースにおける複数の最先端DeepFake検出モデルのAIバイアスを包括的に分析することによって、これらの課題に取り組みます。調査では、デモグラフィック（年齢、性別、民族）および非デモグラフィック（髪、肌、アクセサリーなど）情報を含む、多種多様な特徴的属性（65M以上のラベルから）が検出性能に与える影響を分析しています。その結果、調査したデータベースには多様性がなく、さらに重要なことは、利用したDeepFake検出モデルが多くの調査した属性に強く偏っていることが示されたことである。さらに、この結果は、モデルの意思決定が、人が微笑んでいるか、帽子をかぶっているかなど、いくつかの疑わしい（偏った）仮定に基づいている可能性があることを示す。このようなDeepFake検出手法の用途によっては、これらのバイアスは一般化可能性、公平性、セキュリティの問題につながる可能性があります。本研究で得られた知見とアノテーションデータベースが、将来のDeepFake検出手法におけるバイアスの評価と軽減に役立つことを期待しています。私たちのアノテーションデータセットは一般に公開されています。
要約(オリジナル)
In recent years, image and video manipulations with DeepFake have become a severe concern for security and society. Therefore, many detection models and databases have been proposed to detect DeepFake data reliably. However, there is an increased concern that these models and training databases might be biased and thus, cause DeepFake detectors to fail. In this work, we tackle these issues by (a) providing large-scale demographic and non-demographic attribute annotations of 41 different attributes for five popular DeepFake datasets and (b) comprehensively analysing AI-bias of multiple state-of-the-art DeepFake detection models on these databases. The investigation analyses the influence of a large variety of distinctive attributes (from over 65M labels) on the detection performance, including demographic (age, gender, ethnicity) and non-demographic (hair, skin, accessories, etc.) information. The results indicate that investigated databases lack diversity and, more importantly, show that the utilised DeepFake detection models are strongly biased towards many investigated attributes. Moreover, the results show that the models’ decision-making might be based on several questionable (biased) assumptions, such if a person is smiling or wearing a hat. Depending on the application of such DeepFake detection methods, these biases can lead to generalizability, fairness, and security issues. We hope that the findings of this study and the annotation databases will help to evaluate and mitigate bias in future DeepFake detection techniques. Our annotation datasets are made publicly available.
arxiv情報
| 著者 | Ying Xu,Philipp Terhörst,Kiran Raja,Marius Pedersen |
| 発行日 | 2022-08-11 14:28:21+00:00 |
| arxivサイト | arxiv_id(pdf) |