Reconstruct Face from Features Using GAN Generator as a Distribution Constraint

要約

深層畳み込みニューラルネットワーク（CNN）に基づく顔認識は、抽出される識別性の高い特徴量に起因する優れた精度性能を示す。しかし、深層学習モデルから抽出された特徴量（深層特徴量）の安全性とプライバシーは見落とされがちである。本論文では、CNNネットワークの構成にアクセスすることなく、深層特徴から顔画像を再構成することを、制約付き最適化問題として提案する。このような最適化は、元の顔画像から抽出された特徴と再構成された顔画像との間の距離を最小化する。我々は、この最適化問題を画像空間で直接解くのではなく、GAN生成器の潜在ベクトルを探索し、それを用いて顔画像を生成するという革新的な方法で問題を再定式化します。GAN生成器は、最適化目標の顔分布制約と顔生成器の二重の役割を担っています。さらに、生成された顔画像に基づいてターゲットユーザになりすます攻撃パイプラインを提案します。その結果、生成された顔画像は、type-I attack @ FARが0.1%であるLFWにおいて、98.0%という最先端の攻撃成功率を達成することができました。本研究は、プライバシー保護およびセキュリティポリシーを満たすためのバイオメトリクス展開に光を当てます。

要約(オリジナル)

Face recognition based on the deep convolutional neural networks (CNN) shows superior accuracy performance attributed to the high discriminative features extracted. Yet, the security and privacy of the extracted features from deep learning models (deep features) have been often overlooked. This paper proposes the reconstruction of face images from deep features without accessing the CNN network configurations as a constrained optimization problem. Such optimization minimizes the distance between the features extracted from the original face image and the reconstructed face image. Instead of directly solving the optimization problem in the image space, we innovatively reformulate the problem by looking for a latent vector of a GAN generator, then use it to generate the face image. The GAN generator serves as a dual role in this novel framework, i.e., face distribution constraint of the optimization goal and a face generator. On top of the novel optimization task, we also propose an attack pipeline to impersonate the target user based on the generated face image. Our results show that the generated face images can achieve a state-of-the-art successful attack rate of 98.0\% on LFW under type-I attack @ FAR of 0.1\%. Our work sheds light on the biometric deployment to meet the privacy-preserving and security policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL