Towards Fair Face Verification: An In-depth Analysis of Demographic Biases

要約

ディープラーニングベースの個人識別および認証システムは、近年精度が著しく向上しています。
しかし、広く普及しているクラウドベースのソリューションを含むそのようなシステムには、人種、年齢、性別に関連する重大なバイアスがあることが判明しており、この問題には徹底的な調査と解決策が必要です。
このペーパーでは、これらの人口統計的要因の交差性に特に重点を置いて、詳細な分析を示します。
交差バイアスとは、全体に関するパフォーマンスの差異を指します。
人種、年齢、性別グループのさまざまな組み合わせであり、現在の文献では比較的未調査の領域です。
さらに、ほとんどの最先端のアプローチは主要な評価指標としての精度に依存しているため、パフォーマンスにおける人口統計上の重大な格差が隠蔽されていることがよくあります。
この重大な制限に対抗するために、当社では、関連する公平性を意識したアプローチでは通常無視される、異質な影響や虐待の指標を含む 5 つの追加指標を定量分析に組み込んでいます。
Racial Faces in-the-Wild (RFW) ベンチマークの結果は、顔認識システムに人種を超えた広範なバイアスがあり、人口統計上の要因が異なると著しく異なる結果が生じることを示しています。
特に、アフリカ人は白人と比較して真陽性率 (TPR) が 11.25% 低いことが示されていますが、精度の低下は 3.51% のみ観察されています。
さらに懸念されるのは、60 歳以上のアフリカ人女性など、複数の保護グループの交差点では、最も高い白人の虐待率と比較して、+39.89% の異なる虐待率が示されているということです。
この論文は、これらのバイアスとその影響に光を当てることで、より公正で公平な顔認識および検証システムの開発に向けたさらなる研究を促進することを目的としています。

要約(オリジナル)

Deep learning-based person identification and verification systems have remarkably improved in terms of accuracy in recent years; however, such systems, including widely popular cloud-based solutions, have been found to exhibit significant biases related to race, age, and gender, a problem that requires in-depth exploration and solutions. This paper presents an in-depth analysis, with a particular emphasis on the intersectionality of these demographic factors. Intersectional bias refers to the performance discrepancies w.r.t. the different combinations of race, age, and gender groups, an area relatively unexplored in current literature. Furthermore, the reliance of most state-of-the-art approaches on accuracy as the principal evaluation metric often masks significant demographic disparities in performance. To counter this crucial limitation, we incorporate five additional metrics in our quantitative analysis, including disparate impact and mistreatment metrics, which are typically ignored by the relevant fairness-aware approaches. Results on the Racial Faces in-the-Wild (RFW) benchmark indicate pervasive biases in face recognition systems, extending beyond race, with different demographic factors yielding significantly disparate outcomes. In particular, Africans demonstrate an 11.25% lower True Positive Rate (TPR) compared to Caucasians, while only a 3.51% accuracy drop is observed. Even more concerning, the intersections of multiple protected groups, such as African females over 60 years old, demonstrate a +39.89% disparate mistreatment rate compared to the highest Caucasians rate. By shedding light on these biases and their implications, this paper aims to stimulate further research towards developing fairer, more equitable face recognition and verification systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google