Mask-up: Investigating Biases in Face Re-identification for Masked Faces

要約

AI ベースの顔認識システム (FRS) は現在、MLaaS ソリューションとして世界中で広く配布され、導入されており、特に新型コロナウイルス感染症のパンデミック以降、SIM カード購入時の個人の顔の認証から国民の監視に至るまでのタスクに使用されています。
これらのシステムでは疎外されたグループに対して広範な偏見が報告されており、非常に差別的な結果につながっています。
パンデミック後の世界ではマスクの着用が常態化しましたが、FRSは時代の変化に追いついていません。
結果として、これらのシステムはマスクベースの顔のオクルージョンの影響を受けやすくなります。
この研究では、5 つのベンチマーク データセット (合計 14,722 画像) にわたる、さまざまな種類のマスクされた画像とマスクされていない画像間の顔再識別タスクについて、4 つの商用 FRS と 9 つのオープンソース FRS を監査しました。
これらは、世界中のすべての主要国で導入されている現実的な検証/監視タスクをシミュレートします。
商用 FRS のうち 3 つとオープンソース FRS のうち 5 つは非常に不正確です。
さらに非白人に対する偏見を永続させ、最も低い精度は 0% です。
85 人の人間参加者による同じタスクの調査でも、精度は 40% と低かった。
したがって、文献で頻繁に仮説が立てられているように、パイプラインにおける人間参加型の調整は懸念を軽減しません。
私たちの大規模調査では、このようなサービスの開発者、議員、ユーザーは、観察されたバイアスを認識した上で、特に顔の再識別のタスクについて、FRS の背後にある設計原則を再考する必要があることを示しています。

要約(オリジナル)

AI based Face Recognition Systems (FRSs) are now widely distributed and deployed as MLaaS solutions all over the world, moreso since the COVID-19 pandemic for tasks ranging from validating individuals’ faces while buying SIM cards to surveillance of citizens. Extensive biases have been reported against marginalized groups in these systems and have led to highly discriminatory outcomes. The post-pandemic world has normalized wearing face masks but FRSs have not kept up with the changing times. As a result, these systems are susceptible to mask based face occlusion. In this study, we audit four commercial and nine open-source FRSs for the task of face re-identification between different varieties of masked and unmasked images across five benchmark datasets (total 14,722 images). These simulate a realistic validation/surveillance task as deployed in all major countries around the world. Three of the commercial and five of the open-source FRSs are highly inaccurate; they further perpetuate biases against non-White individuals, with the lowest accuracy being 0%. A survey for the same task with 85 human participants also results in a low accuracy of 40%. Thus a human-in-the-loop moderation in the pipeline does not alleviate the concerns, as has been frequently hypothesized in literature. Our large-scale study shows that developers, lawmakers and users of such services need to rethink the design principles behind FRSs, especially for the task of face re-identification, taking cognizance of observed biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google