Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition

要約

非常に低解像度の顔認識は、解像度の低下により情報となる顔の詳細が大幅に失われるため、困難です。
この論文では、生成表現と解像度を超えて調整された知識の抽出を組み合わせた、生成識別表現の抽出アプローチを提案します。
このアプローチは、2 つの蒸留モジュールを介して生成モデルと識別モデルを共同蒸留することにより、非常に低解像度の顔認識を容易にします。
まず、生成表現の蒸留では、顔の超解像用に事前トレーニングされた拡散モデルのエンコーダーを生成教師として使用し、特徴回帰を通じて生徒のバックボーンの学習を監督し、生徒のバックボーンをフリーズします。
その後、識別表現の蒸留では、事前トレーニング済みの顔認識装置を識別教師としてさらに考慮し、解像度間関係対比蒸留を通じて生徒の頭の学習を監督します。
このようにして、一般的なバックボーン表現を識別的な頭部表現に変換することができ、非常に低解像度の顔認識用の堅牢で識別的な学生モデルが得られます。
私たちのアプローチは、非常に低解像度の顔で失われた細部の回復を改善し、より良い知識の伝達を実現します。
顔データセットに関する広範な実験により、私たちのアプローチが非常に低解像度の顔の認識精度を向上させ、その有効性と適応性が実証されたことが実証されました。

要約(オリジナル)

Very low-resolution face recognition is challenging due to the serious loss of informative facial details in resolution degradation. In this paper, we propose a generative-discriminative representation distillation approach that combines generative representation with cross-resolution aligned knowledge distillation. This approach facilitates very low-resolution face recognition by jointly distilling generative and discriminative models via two distillation modules. Firstly, the generative representation distillation takes the encoder of a diffusion model pretrained for face super-resolution as the generative teacher to supervise the learning of the student backbone via feature regression, and then freezes the student backbone. After that, the discriminative representation distillation further considers a pretrained face recognizer as the discriminative teacher to supervise the learning of the student head via cross-resolution relational contrastive distillation. In this way, the general backbone representation can be transformed into discriminative head representation, leading to a robust and discriminative student model for very low-resolution face recognition. Our approach improves the recovery of the missing details in very low-resolution faces and achieves better knowledge transfer. Extensive experiments on face datasets demonstrate that our approach enhances the recognition accuracy of very low-resolution faces, showcasing its effectiveness and adaptability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google