MST-KD: Multiple Specialized Teachers Knowledge Distillation for Fair Face Recognition

要約

学校と同様に、すべての科目を担当する教師が 1 人だけでは、生徒に同様に確実な情報を伝えるには不十分です。
したがって、各科目は高度に専門的な教師によって教えられます。
同様の哲学に従って、私たちは学生ネットワークに知識を蒸留するための複数の専門教師のフレームワークを提案します。
顔認識のユースケースを対象とした私たちのアプローチでは、4 人の教師を 1 つの特定の民族についてトレーニングし、高度に専門化された偏った教師を 4 名に導きます。
私たちの戦略は、これら 4 人の教師によるプロジェクトを共通のスペースで学習し、その情報を生徒のネットワークに抽出します。
私たちの結果は、すべての実験においてパフォーマンスの向上とバイアスの減少を明らかにしました。
さらに、バランスの取れたデータセットでトレーニングされた 4 人の教師から知識を抽出する場合よりも、私たちのアプローチがより良い結果を達成することを示すことで、偏った/専門的な教師を配置することが重要であることを示しています。
私たちのアプローチは、民族特有の特徴の重要性の理解への一歩前進を表しています。

要約(オリジナル)

As in school, one teacher to cover all subjects is insufficient to distill equally robust information to a student. Hence, each subject is taught by a highly specialised teacher. Following a similar philosophy, we propose a multiple specialized teacher framework to distill knowledge to a student network. In our approach, directed at face recognition use cases, we train four teachers on one specific ethnicity, leading to four highly specialized and biased teachers. Our strategy learns a project of these four teachers into a common space and distill that information to a student network. Our results highlighted increased performance and reduced bias for all our experiments. In addition, we further show that having biased/specialized teachers is crucial by showing that our approach achieves better results than when knowledge is distilled from four teachers trained on balanced datasets. Our approach represents a step forward to the understanding of the importance of ethnicity-specific features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google