Hide and Seek: How Does Watermarking Impact Face Recognition?

要約

生成モデルの最近の進歩により、顔画像などの非常に現実的な画像の合成に革命が起こりました。
この技術開発は、より高い認識精度とデータプライバシーのためのトレーニングデータの増強など、間違いなく顔認識に貢献しています。
しかし、コンピュータ生成画像の責任ある使用と適切な帰属に関して新たな課題も生じています。
私たちは、画像に所有権の署名を埋め込む技術である電子透かしが顔認識モデルの有効性に及ぼす影響を調査します。
私たちは、この問題を体系的に調査するために、顔画像の生成、透かし、および顔認識を統合する包括的なパイプラインを提案します。
提案された透かし入れスキームは、エンコーダ/デコーダ アーキテクチャに基づいており、視覚的な忠実性を維持しながら、実際の顔画像と合成の顔画像の両方から署名を埋め込み、復元することに成功しています。
広範な実験を通じて、透かしを入れることで確実な画像の帰属が可能になる一方で、顔認識の精度がわずかに低下することが判明しました。これは、特に難しいポーズや表情を持つ顔画像の場合に顕著です。
さらに、透かし入りの画像上で顔認識モデルを直接トレーニングしても、このパフォーマンスの低下は限定的にしか緩和されないことがわかりました。
私たちの調査結果は、透かしと顔認識の精度の間の複雑なトレードオフを強調しています。
この研究は、顔認識における生成モデルの責任ある利用に向けた極めて重要な一歩であり、生体認証における透かしの広範な影響に関する議論を開始する役割を果たします。

要約(オリジナル)

The recent progress in generative models has revolutionized the synthesis of highly realistic images, including face images. This technological development has undoubtedly helped face recognition, such as training data augmentation for higher recognition accuracy and data privacy. However, it has also introduced novel challenges concerning the responsible use and proper attribution of computer generated images. We investigate the impact of digital watermarking, a technique for embedding ownership signatures into images, on the effectiveness of face recognition models. We propose a comprehensive pipeline that integrates face image generation, watermarking, and face recognition to systematically examine this question. The proposed watermarking scheme, based on an encoder-decoder architecture, successfully embeds and recovers signatures from both real and synthetic face images while preserving their visual fidelity. Through extensive experiments, we unveil that while watermarking enables robust image attribution, it results in a slight decline in face recognition accuracy, particularly evident for face images with challenging poses and expressions. Additionally, we find that directly training face recognition models on watermarked images offers only a limited alleviation of this performance decline. Our findings underscore the intricate trade off between watermarking and face recognition accuracy. This work represents a pivotal step towards the responsible utilization of generative models in face recognition and serves to initiate discussions regarding the broader implications of watermarking in biometrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google