要約
既存の知識蒸留方法は一般に、教師と生徒のアプローチを使用しており、生徒のネットワークは十分な訓練を受けた教師からのみ学習します。
しかし、このアプローチでは、教師と生徒のネットワーク間の学習能力の本質的な違いが見落とされ、能力ギャップの問題が発生します。
この制限に対処するために、私たちは SLKD と呼ばれる新しい方法を提案します。
要約(オリジナル)
Existing knowledge distillation methods generally use a teacher-student approach, where the student network solely learns from a well-trained teacher. However, this approach overlooks the inherent differences in learning abilities between the teacher and student networks, thus causing the capacity-gap problem. To address this limitation, we propose a novel method called SLKD.
arxiv情報
著者 | Long Liu,Tong Li,Hui Cheng |
発行日 | 2023-09-18 12:30:10+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google