Evaluation-oriented Knowledge Distillation for Deep Face Recognition

要約

知識抽出(KD)は、コンパクトなモデルの性能を向上させるために、大規模なネットワークを利用する手法として広く用いられている。これまでのKDアプローチは、通常、表現空間において教師の動作を完全に模倣するように生徒を導くことを目的としている。しかし、このような一対一の対応制約では、特にモデル容量が小さい場合、教師から生徒への柔軟性に欠ける知識移転につながる可能性がある。KD法の究極の目標に触発され、我々は深層顔認識のための新しい評価指向KD法（EKD）を提案し、学習中の教師モデルと生徒モデルの間の性能差を直接的に低減させる。具体的には、顔認識において一般的に用いられる評価指標である誤認識率（FPR）と真陽性率（TPR）を性能指標として採用する。評価プロトコルに従って、教師モデルと生徒モデルの間でTPRとFPRの差を生じさせる重要なペア関係を選択する。そして、生徒の重要な関係は、新しいランクベースの損失関数によって教師の対応する関係を近似するように制約され、能力の低い生徒により多くの柔軟性を与える。一般的なベンチマークを用いた広範な実験結果により、我々のEKDが最先端の競合製品よりも優れていることが示された。

要約(オリジナル)

Knowledge distillation (KD) is a widely-used technique that utilizes large networks to improve the performance of compact models. Previous KD approaches usually aim to guide the student to mimic the teacher’s behavior completely in the representation space. However, such one-to-one corresponding constraints may lead to inflexible knowledge transfer from the teacher to the student, especially those with low model capacities. Inspired by the ultimate goal of KD methods, we propose a novel Evaluation oriented KD method (EKD) for deep face recognition to directly reduce the performance gap between the teacher and student models during training. Specifically, we adopt the commonly used evaluation metrics in face recognition, i.e., False Positive Rate (FPR) and True Positive Rate (TPR) as the performance indicator. According to the evaluation protocol, the critical pair relations that cause the TPR and FPR difference between the teacher and student models are selected. Then, the critical relations in the student are constrained to approximate the corresponding ones in the teacher by a novel rank-based loss function, giving more flexibility to the student with low capacity. Extensive experimental results on popular benchmarks demonstrate the superiority of our EKD over state-of-the-art competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL