Improving Knowledge Distillation via Transferring Learning Ability

要約

既存の知識蒸留方法は一般に、教師と生徒のアプローチを使用しており、生徒のネットワークは十分な訓練を受けた教師からのみ学習します。
しかし、このアプローチでは、教師と生徒のネットワーク間の学習能力の本質的な違いが見落とされ、能力ギャップの問題が発生します。
この制限に対処するために、私たちは SLKD と呼ばれる新しい方法を提案します。

要約(オリジナル)

Existing knowledge distillation methods generally use a teacher-student approach, where the student network solely learns from a well-trained teacher. However, this approach overlooks the inherent differences in learning abilities between the teacher and student networks, thus causing the capacity-gap problem. To address this limitation, we propose a novel method called SLKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google