OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations

要約

ディープラーニングの台頭により、顔認識技術は広範な研究と急速な発展を遂げている。顔認識は成熟した技術と考えられているが、既存のオープンソースモデルや商用アルゴリズムは、特定の実世界のOOD（Out-of-Distribution）シナリオにおいて堅牢性に欠けることが分かり、これらのシステムの信頼性に対する懸念が高まっている。本論文では、OODFaceを紹介する。OODFaceは、顔認識モデルが直面するOODの課題を、一般的な破損と外観のバリエーションという2つの観点から探索する。我々は、顔認識用に調整された9つの主要なカテゴリーにわたる30のOODシナリオを体系的に設計する。これらの課題を公開データセット上でシミュレーションすることにより、3つの頑健性ベンチマークを確立する：LFW-C/V、CFP-FP-C/V、YTF-C/Vである。そして、19種類の顔認識モデルと3種類の商用API、さらに顔マスク、視覚言語モデル（VLM）、防御戦略に関する拡張実験を行い、その頑健性を評価する。その結果に基づいて、我々はいくつかの重要な洞察を導き出し、OODデータに対する顔認識システムの脆弱性を強調し、可能な解決策を提案する。さらに、すべての破損と変異のタイプを含む統一されたツールキットを提供し、他のデータセットに容易に拡張可能である。我々のベンチマークと知見が、顔認識モデルの頑健性における将来の改善の指針になることを期待している。

要約(オリジナル)

With the rise of deep learning, facial recognition technology has seen extensive research and rapid development. Although facial recognition is considered a mature technology, we find that existing open-source models and commercial algorithms lack robustness in certain real-world Out-of-Distribution (OOD) scenarios, raising concerns about the reliability of these systems. In this paper, we introduce OODFace, which explores the OOD challenges faced by facial recognition models from two perspectives: common corruptions and appearance variations. We systematically design 30 OOD scenarios across 9 major categories tailored for facial recognition. By simulating these challenges on public datasets, we establish three robustness benchmarks: LFW-C/V, CFP-FP-C/V, and YTF-C/V. We then conduct extensive experiments on 19 different facial recognition models and 3 commercial APIs, along with extended experiments on face masks, Vision-Language Models (VLMs), and defense strategies to assess their robustness. Based on the results, we draw several key insights, highlighting the vulnerability of facial recognition systems to OOD data and suggesting possible solutions. Additionally, we offer a unified toolkit that includes all corruption and variation types, easily extendable to other datasets. We hope that our benchmarks and findings can provide guidance for future improvements in facial recognition model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL