Towards Inclusive Face Recognition Through Synthetic Ethnicity Alteration

要約

市販のものを含む既存の顔認識システム (FRS) は、データが過小評価されているため、特定の民族に対する偏見を示していることが多くの研究で示されています。
この研究では、データセットの多様性を高めるために合成顔画像生成手法を使用して、民族性の変更と肌の色調の変更を調査します。
まず、アジア人、黒人、インド人の 3 つの民族を表すバランスのとれた顔画像データセットを構築することで、詳細な分析を実行します。
次に、既存の敵対的生成ネットワーク (GAN) ベースの画像間変換と多様体学習モデルを利用して、ある民族から別の民族に変更します。
さらに、個別タイポロジー アングル (ITA) を使用して現実的な肌の色合いの表現を研究することにより、このようなデータセットの FRS への適合性を評価するための体系的な分析が行われます。
さらに、既存の顔画像品質評価 (FIQA) アプローチを使用して品質特性も分析します。
次に、4 つの異なるシステムを使用して総合的な FRS パフォーマンス分析を提供します。
私たちの発見は、(i) 特定の民族性と一般的な (任意から任意の) 民族性変化モデルの両方の開発、(ii) 多様な肌の色を持つデータベースを作成するためにそのようなアプローチを拡張する、(iii) さまざまな民族性を表すデータセットの作成における将来の研究作業への道を開きます。
これはさらに、プライバシーの問題に対処しながら偏見を軽減するのに役立ちます。

要約(オリジナル)

Numerous studies have shown that existing Face Recognition Systems (FRS), including commercial ones, often exhibit biases toward certain ethnicities due to under-represented data. In this work, we explore ethnicity alteration and skin tone modification using synthetic face image generation methods to increase the diversity of datasets. We conduct a detailed analysis by first constructing a balanced face image dataset representing three ethnicities: Asian, Black, and Indian. We then make use of existing Generative Adversarial Network-based (GAN) image-to-image translation and manifold learning models to alter the ethnicity from one to another. A systematic analysis is further conducted to assess the suitability of such datasets for FRS by studying the realistic skin-tone representation using Individual Typology Angle (ITA). Further, we also analyze the quality characteristics using existing Face image quality assessment (FIQA) approaches. We then provide a holistic FRS performance analysis using four different systems. Our findings pave the way for future research works in (i) developing both specific ethnicity and general (any to any) ethnicity alteration models, (ii) expanding such approaches to create databases with diverse skin tones, (iii) creating datasets representing various ethnicities which further can help in mitigating bias while addressing privacy concerns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google