DuetFace: Collaborative Privacy-Preserving Face Recognition via Channel Splitting in the Frequency Domain

要約

顔認識システムの幅広い適用により、元の顔画像が悪意のある意図にさらされ、その結果、個人のプライバシー侵害を引き起こす可能性があるという懸念が高まっています。
この論文では、周波数領域での協調的推論を採用した、プライバシーを保護する新しい顔認識手法であるDuetFaceを紹介します。
この方法は、顔認識が視覚的に区別できない高周波チャネルのみで驚くほど優れたパフォーマンスを達成できるという直感に反する発見から始まり、視覚化の重要性によって周波数チャネルの信頼できる分割を設計し、非重要なチャネルでサーバー側モデルを操作します。
ただし、視覚情報が欠落しているため、モデルは顔の特徴への注意が低下します。
これを補うために、この方法ではプラグインのインタラクティブブロックを導入して、機能マスクを作成することでクライアント側から注意を転送できるようにします。
マスクは、関心のある顔の領域（ROI）を導出してオーバーレイすることにより、さらに洗練されます。
複数のデータセットでの広範な実験により、高いタスクの可用性とパフォーマンスを維持しながら、顔の画像を望ましくない目視検査、再構成、および識別から保護する提案された方法の有効性が検証されます。
結果は、提案された方法が、保護されていないArcFaceと同等の認識精度と計算コストを達成し、最先端のプライバシー保護方法よりも優れていることを示しています。
ソースコードはhttps://github.com/Tencent/TFace/tree/master/recognition/tasks/duetfaceで入手できます。

要約(オリジナル)

With the wide application of face recognition systems, there is rising concern that original face images could be exposed to malicious intents and consequently cause personal privacy breaches. This paper presents DuetFace, a novel privacy-preserving face recognition method that employs collaborative inference in the frequency domain. Starting from a counterintuitive discovery that face recognition can achieve surprisingly good performance with only visually indistinguishable high-frequency channels, this method designs a credible split of frequency channels by their cruciality for visualization and operates the server-side model on non-crucial channels. However, the model degrades in its attention to facial features due to the missing visual information. To compensate, the method introduces a plug-in interactive block to allow attention transfer from the client-side by producing a feature mask. The mask is further refined by deriving and overlaying a facial region of interest (ROI). Extensive experiments on multiple datasets validate the effectiveness of the proposed method in protecting face images from undesired visual inspection, reconstruction, and identification while maintaining high task availability and performance. Results show that the proposed method achieves a comparable recognition accuracy and computation cost to the unprotected ArcFace and outperforms the state-of-the-art privacy-preserving methods. The source code is available at https://github.com/Tencent/TFace/tree/master/recognition/tasks/duetface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google