Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model

要約

顔認識システムは、顔画像から埋め込みベクトルを抽出し、これらの埋め込みを使用して個人を検証または識別します。
顔再構成攻撃 (テンプレート反転とも呼ばれます) は、顔埋め込みから顔画像を再構成し、再構成された顔画像を使用して顔認識システムに入力することを指します。
この論文では、顔基盤モデルを使用して、ブラックボックス顔認識モデルの埋め込みから顔画像を再構成することを提案します。
基礎モデルは 4,200 万枚の画像でトレーニングされ、固定顔認識モデルの顔の埋め込みから顔画像を生成します。
アダプターを使用して、ターゲットの埋め込みを基礎モデルの埋め込み空間に変換することを提案します。
生成された画像は、さまざまな顔認識モデルおよびさまざまなデータセットで評価され、さまざまな顔認識モデルの埋め込みを変換するためのこの方法の有効性が実証されています。
また、さまざまな顔認識モデルを攻撃する場合の、再構成された顔画像の転送可能性も評価します。
私たちの実験結果は、再構成された顔画像が顔認識モデルに対する以前の再構成攻撃よりも優れていることを示しています。

要約(オリジナル)

Face recognition systems extract embedding vectors from face images and use these embeddings to verify or identify individuals. Face reconstruction attack (also known as template inversion) refers to reconstructing face images from face embeddings and using the reconstructed face image to enter a face recognition system. In this paper, we propose to use a face foundation model to reconstruct face images from the embeddings of a blackbox face recognition model. The foundation model is trained with 42M images to generate face images from the facial embeddings of a fixed face recognition model. We propose to use an adapter to translate target embeddings into the embedding space of the foundation model. The generated images are evaluated on different face recognition models and different datasets, demonstrating the effectiveness of our method to translate embeddings of different face recognition models. We also evaluate the transferability of reconstructed face images when attacking different face recognition models. Our experimental results show that our reconstructed face images outperform previous reconstruction attacks against face recognition models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google