Tailoring Instructions to Student’s Learning Levels Boosts Knowledge Distillation

要約

優れたパフォーマンスを備えた教師モデルが必ずしも強い生徒を生み出すわけではないことが一般的に観察されており、現在の教師トレーニングの実践と効果的な知識伝達との間の矛盾が浮き彫りになっています。
教師研修プロセスの指導を強化するために、各研修サンプルからの蒸留が生徒の汎化能力に及ぼす影響を決定する蒸留影響の概念を導入します。
この論文では、教師の学習プロセスに蒸留の影響を組み込むための効率的なトレーニング手法である Learning Good Teacher Matters (LGTM) を提案します。
生徒の汎化能力を高める可能性が高いサンプルを優先することにより、LGTM は、GLUE ベンチマークの 6 つのテキスト分類タスクで 10 の共通知識抽出ベースラインを上回りました。

要約(オリジナル)

It has been commonly observed that a teacher model with superior performance does not necessarily result in a stronger student, highlighting a discrepancy between current teacher training practices and effective knowledge transfer. In order to enhance the guidance of the teacher training process, we introduce the concept of distillation influence to determine the impact of distillation from each training sample on the student’s generalization ability. In this paper, we propose Learning Good Teacher Matters (LGTM), an efficient training technique for incorporating distillation influence into the teacher’s learning process. By prioritizing samples that are likely to enhance the student’s generalization ability, our LGTM outperforms 10 common knowledge distillation baselines on 6 text classification tasks in the GLUE benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google