Adversarial Relighting Against Face Recognition

要約

深層顔認識 (FR) は、いくつかの困難なデータセットで非常に高い精度を達成し、実世界のアプリケーションの成功を促進し、通常 FR システムに対する主な脅威と見なされる照明の変動に対しても高いロバスト性を示しています。
ただし、現実の世界では、さまざまな照明条件によって引き起こされる照明の変動を、限られた顔データセットで完全にカバーすることはできません。
この論文では、新しい角度からFRに対する照明の脅威、つまり敵対的攻撃を研究し、新しいタスク、つまり敵対的再照明を特定します。
顔画像が与えられると、敵対的リライティングは、最先端の深層 FR メソッドを騙しながら、自然にリライトされた相手を生成することを目的としています。
この目的のために、最初に、アルベド商ベースの敵対的リライティング攻撃 (AQ-ARA) として示される物理モデルベースの敵対的リライティング攻撃 (ARA) を提案します。
物理的な照明モデルと FR システムのガイダンスの下で自然な敵対的な光を生成し、敵対的に再照明された顔画像を合成します。
さらに、敵対的リライティング ネットワーク (ARNet) をトレーニングして、さまざまな入力面に応じて敵対的ライトをワンステップで自動的に予測することにより、自動予測的敵対的リライティング攻撃 (AP-ARA) を提案し、効率に敏感なアプリケーションを可能にします。
さらに重要なことは、正確なリライティング デバイスを介して上記のデジタル攻撃を物理的な ARA (Phy-ARA) に転送し、推定された敵対的な照明条件を現実の世界で再現可能にすることを提案することです。
2 つの公開データセットで、FaceNet、ArcFace、CosFace の 3 つの最先端のディープ FR メソッドでメソッドを検証します。
広範で洞察力に富んだ結果は、私たちの研究が現実的な敵対者の再照明された顔画像を生成して FR を簡単にだまし、特定の光の方向と強さの脅威を明らかにできることを示しています。

要約(オリジナル)

Deep face recognition (FR) has achieved significantly high accuracy on several challenging datasets and fosters successful real-world applications, even showing high robustness to the illumination variation that is usually regarded as a main threat to the FR system. However, in the real world, illumination variation caused by diverse lighting conditions cannot be fully covered by the limited face dataset. In this paper, we study the threat of lighting against FR from a new angle, i.e., adversarial attack, and identify a new task, i.e., adversarial relighting. Given a face image, adversarial relighting aims to produce a naturally relighted counterpart while fooling the state-of-the-art deep FR methods. To this end, we first propose the physical model-based adversarial relighting attack (ARA) denoted as albedo-quotient-based adversarial relighting attack (AQ-ARA). It generates natural adversarial light under the physical lighting model and guidance of FR systems and synthesizes adversarially relighted face images. Moreover, we propose the auto-predictive adversarial relighting attack (AP-ARA) by training an adversarial relighting network (ARNet) to automatically predict the adversarial light in a one-step manner according to different input faces, allowing efficiency-sensitive applications. More importantly, we propose to transfer the above digital attacks to physical ARA (Phy-ARA) through a precise relighting device, making the estimated adversarial lighting condition reproducible in the real world. We validate our methods on three state-of-the-art deep FR methods, i.e., FaceNet, ArcFace, and CosFace, on two public datasets. The extensive and insightful results demonstrate our work can generate realistic adversarial relighted face images fooling FR easily, revealing the threat of specific light directions and strengths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google