Faithful Knowledge Distillation

要約

知識蒸留 (KD) は、リソースに制約のあるシステムでの展開を可能にするネットワークの圧縮に成功したため、多くの注目を集めています。
敵対的な堅牢性の問題は以前に KD 設定で研究されてきましたが、以前の研究では、ソフトな信頼度の観点から、教師に対する生徒ネットワークの相対的な調整と呼ばれるものが見落とされていました。
特に、教師と生徒のペアに関する 2 つの重要な質問に焦点を当てます。(i) 正しく分類されたデータセットの例に近い点で教師と生徒の意見は一致していませんか、(ii) 蒸留された生徒は教師と同じくらい自信を持っていますか
データセットの例?
これらは、安全性が重視される環境で、強力な教師から訓練を受けた小規模な生徒ネットワークの展開を検討する場合に重要な質問です。
これらの質問に対処するために、私たちは信頼度の相対的な調整について議論するための忠実な模倣フレームワークを導入し、生徒の相対的な調整を評価するための経験的かつ認定された方法を提供します。
その先生。
さらに、生徒の相対的な調整インセンティブを教師の相対的な調整インセンティブと検証可能に一致させるために、忠実な蒸留を導入します。
MNIST、Fashion-MNIST、および CIFAR-10 データセットに関する私たちの実験は、そのような分析の必要性と、代替の敵対的蒸留方法よりも忠実な蒸留の検証可能性の向上の利点を示しています。

要約(オリジナル)

Knowledge distillation (KD) has received much attention due to its success in compressing networks to allow for their deployment in resource-constrained systems. While the problem of adversarial robustness has been studied before in the KD setting, previous works overlook what we term the relative calibration of the student network with respect to its teacher in terms of soft confidences. In particular, we focus on two crucial questions with regard to a teacher-student pair: (i) do the teacher and student disagree at points close to correctly classified dataset examples, and (ii) is the distilled student as confident as the teacher around dataset examples? These are critical questions when considering the deployment of a smaller student network trained from a robust teacher within a safety-critical setting. To address these questions, we introduce a faithful imitation framework to discuss the relative calibration of confidences and provide empirical and certified methods to evaluate the relative calibration of a student w.r.t. its teacher. Further, to verifiably align the relative calibration incentives of the student to those of its teacher, we introduce faithful distillation. Our experiments on the MNIST, Fashion-MNIST and CIFAR-10 datasets demonstrate the need for such an analysis and the advantages of the increased verifiability of faithful distillation over alternative adversarial distillation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google