A Key-Driven Framework for Identity-Preserving Face Anonymization

要約

仮想顔はメタバースの重要なコンテンツです。
最近、プライバシー保護のために仮想顔を生成する試みがなされている。
それにもかかわらず、これらの仮想顔は、識別可能な情報を永久に削除するか、元のアイデンティティを仮想顔にマッピングして、元のアイデンティティを永久に失います。
この研究では、まず、仮想顔におけるプライバシーと識別可能性の間の矛盾に対処することを試み、そこではキー駆動の顔匿名化および認証認識 (KFAAR) フレームワークが提案されます。
具体的には、KFAAR フレームワークは、頭部姿勢保持仮想顔生成 (HPVFG) モジュールとキー制御可能仮想顔認証 (KVFA) モジュールで構成されます。
HPVFG モジュールは、ユーザー キーを使用して、元の顔の潜在ベクトルを仮想ベクトルに投影します。
次に、仮想ベクトルをマッピングして拡張エンコーディングを取得し、それに基づいて仮想面が生成されます。
頭姿勢と表情の補正モジュールを同時に追加することで、仮想顔は元の顔と同じ頭姿勢と表情を持ちます。
認証中に、正しいユーザーキーを使用して仮想顔を直接認識するKVFAモジュールを提案します。これにより、元の顔画像を公開することなく元のIDを取得できます。
また、HPVFG と KVFA をトレーニングするためのマルチタスク学習目標も提案します。
広範な実験により、顔の匿名性と識別可能性の両方を効果的に達成する、提案された HPVFG および KVFA モジュールの利点が実証されています。

要約(オリジナル)

Virtual faces are crucial content in the metaverse. Recently, attempts have been made to generate virtual faces for privacy protection. Nevertheless, these virtual faces either permanently remove the identifiable information or map the original identity into a virtual one, which loses the original identity forever. In this study, we first attempt to address the conflict between privacy and identifiability in virtual faces, where a key-driven face anonymization and authentication recognition (KFAAR) framework is proposed. Concretely, the KFAAR framework consists of a head posture-preserving virtual face generation (HPVFG) module and a key-controllable virtual face authentication (KVFA) module. The HPVFG module uses a user key to project the latent vector of the original face into a virtual one. Then it maps the virtual vectors to obtain an extended encoding, based on which the virtual face is generated. By simultaneously adding a head posture and facial expression correction module, the virtual face has the same head posture and facial expression as the original face. During the authentication, we propose a KVFA module to directly recognize the virtual faces using the correct user key, which can obtain the original identity without exposing the original face image. We also propose a multi-task learning objective to train HPVFG and KVFA. Extensive experiments demonstrate the advantages of the proposed HPVFG and KVFA modules, which effectively achieve both facial anonymity and identifiability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google