Improving Knowledge Distillation Via Transferring Learning Ability

要約

TITLE – 学習能力の転移による知識蒸留の向上
・知識蒸留は、転移学習の一種で、教師ネットワークから生徒ネットワークに知識を転移させようという手法
・しかし、生徒と教師の学習能力の違いを考慮しないアプローチでは、容量差の問題が起きることがある
・この容量差を解決するため、SLKDと呼ばれる新しい方法が提案された
・SLKDは、生徒ネットワーク自身が先行学習を行い、良いパフォーマンスをするようになるように教師ネットワークとの蒸留を進める手法
・評価実験の結果、既存手法より有効であることが示された

要約(オリジナル)

Existing knowledge distillation methods generally use a teacher-student approach, where the student network solely learns from a well-trained teacher. However, this approach overlooks the inherent differences in learning abilities between the teacher and student networks, thus causing the capacity-gap problem. To address this limitation, we propose a novel method called SLKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI