Distilling Calibrated Student from an Uncalibrated Teacher

要約

知識の蒸留は、一般に比較的大きく深い教師ネットワークから情報を転送することによって、浅い学生ネットワークのパフォーマンスを向上させるための一般的な手法です。
これらの教師ネットワークは事前にトレーニングされており、トレーニング中に教師モデルにキャリブレーション手法が適用されないため、キャリブレーションされていないことがよくあります。
ネットワークのキャリブレーションは、リスクの高いドメインでは重要な予測の正確性の確率を測定します。
この論文では、キャリブレーションされていない教師からキャリブレーションされた生徒を取得する方法を研究します。
私たちのアプローチは、カットアウト、ミックスアップ、カットミックスを含むがこれらに限定されないデータ拡張技術と知識の蒸留との融合に依存しています。
私たちは、従来の知識の蒸留を超えてアプローチを拡張し、関係知識の蒸留や対照的表現の蒸留にも適していることを発見しました。
この作業の目新しさは、抽出された生徒の精度を損なうことなく、調整されていない教師モデルから調整された生徒を抽出するフレームワークを提供することです。
CIFAR-10、CIFAR-100、CINIC-10、TinyImageNet などのさまざまなデータセットでアプローチを検証するために広範な実験を行い、キャリブレーションされた学生モデルを取得しました。
また、破損した CIFAR-100C データで評価しながら、アプローチの堅牢なパフォーマンスを観察します。

要約(オリジナル)

Knowledge distillation is a common technique for improving the performance of a shallow student network by transferring information from a teacher network, which in general, is comparatively large and deep. These teacher networks are pre-trained and often uncalibrated, as no calibration technique is applied to the teacher model while training. Calibration of a network measures the probability of correctness for any of its predictions, which is critical in high-risk domains. In this paper, we study how to obtain a calibrated student from an uncalibrated teacher. Our approach relies on the fusion of the data-augmentation techniques, including but not limited to cutout, mixup, and CutMix, with knowledge distillation. We extend our approach beyond traditional knowledge distillation and find it suitable for Relational Knowledge Distillation and Contrastive Representation Distillation as well. The novelty of the work is that it provides a framework to distill a calibrated student from an uncalibrated teacher model without compromising the accuracy of the distilled student. We perform extensive experiments to validate our approach on various datasets, including CIFAR-10, CIFAR-100, CINIC-10 and TinyImageNet, and obtained calibrated student models. We also observe robust performance of our approach while evaluating it on corrupted CIFAR-100C data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google