Curriculum Temperature for Knowledge Distillation

要約

ほとんどの既存の蒸留方法は、損失関数における温度の柔軟な役割を無視し、非効率的なグリッド検索によって決定できるハイパーパラメーターとして固定します。
一般に、温度は 2 つの分布間の不一致を制御し、蒸留タスクの難易度を忠実に決定できます。
体温を一定に保つこと、つまり課題の難易度を一定に保つことは、通常、学習段階が進む成長期の生徒にとって最適ではありません。
この論文では、動的で学習可能な温度を通じて学生の学習キャリア中のタスクの難易度を制御する、知識蒸留のためのカリキュラム温度 (CTKD) と呼ばれる単純なカリキュラムベースの手法を提案します。
具体的には、イージーからハードまでのカリキュラムに従って、蒸留損失 w.r.t. を徐々に増やします。
温度が上昇し、逆に蒸留が困難になります。
使いやすいプラグイン手法として、CTKD は既存の知識抽出フレームワークにシームレスに統合でき、ごくわずかな追加の計算コストで一般的な改善をもたらします。
CIFAR-100、ImageNet-2012、および MS-COCO での広範な実験により、この方法の有効性が実証されました。
コードは https://github.com/zhengli97/CTKD で入手できます。

要約(オリジナル)

Most existing distillation methods ignore the flexible role of the temperature in the loss function and fix it as a hyper-parameter that can be decided by an inefficient grid search. In general, the temperature controls the discrepancy between two distributions and can faithfully determine the difficulty level of the distillation task. Keeping a constant temperature, i.e., a fixed level of task difficulty, is usually sub-optimal for a growing student during its progressive learning stages. In this paper, we propose a simple curriculum-based technique, termed Curriculum Temperature for Knowledge Distillation (CTKD), which controls the task difficulty level during the student’s learning career through a dynamic and learnable temperature. Specifically, following an easy-to-hard curriculum, we gradually increase the distillation loss w.r.t. the temperature, leading to increased distillation difficulty in an adversarial manner. As an easy-to-use plug-in technique, CTKD can be seamlessly integrated into existing knowledge distillation frameworks and brings general improvements at a negligible additional computation cost. Extensive experiments on CIFAR-100, ImageNet-2012, and MS-COCO demonstrate the effectiveness of our method. Our code is available at https://github.com/zhengli97/CTKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google