Customizing Synthetic Data for Data-Free Student Learning

要約

データフリー知識蒸留 (DFKD) は、元のトレーニング データを使用せずに軽量の学生モデルを取得することを目的としています。
既存の研究では一般に、事前トレーニングされた教師モデルからのデータを合成して、生徒の学習用に元のトレーニング データを置き換えます。
学生モデルをより効果的にトレーニングするには、合成データを現在の学生の学習能力に合わせてカスタマイズする必要があります。
しかし、これは既存の DFKD メソッドでは無視されているため、学生のトレーニングに悪影響を及ぼします。
この問題に対処するために、この論文では、データフリーの学生学習 (CSD) のための合成データのカスタマイズを提案します。これは、学生の学習能力を推定するために自己教師ありの拡張補助タスクを使用して適応的なデータ合成を実現します。
具体的には、ラベルと自己教師あり拡張タスクからの予測の間のクロス エントロピーを拡大するようにデータ合成が動的に調整され、スチューデント モデルのハード サンプルが生成されます。
さまざまなデータセットと教師-生徒モデルでの実験により、提案した方法の有効性が示されています。
コードは次の場所から入手できます: $\href{https://github.com/luoshiya/CSD}{https://github.com/luoshiya/CSD}$

要約(オリジナル)

Data-free knowledge distillation (DFKD) aims to obtain a lightweight student model without original training data. Existing works generally synthesize data from the pre-trained teacher model to replace the original training data for student learning. To more effectively train the student model, the synthetic data shall be customized to the current student learning ability. However, this is ignored in the existing DFKD methods and thus negatively affects the student training. To address this issue, we propose Customizing Synthetic Data for Data-Free Student Learning (CSD) in this paper, which achieves adaptive data synthesis using a self-supervised augmented auxiliary task to estimate the student learning ability. Specifically, data synthesis is dynamically adjusted to enlarge the cross entropy between the labels and the predictions from the self-supervised augmented task, thus generating hard samples for the student model. The experiments on various datasets and teacher-student models show the effectiveness of our proposed method. Code is available at: $\href{https://github.com/luoshiya/CSD}{https://github.com/luoshiya/CSD}$

arxiv情報

提供元, 利用サービス

arxiv.jp, Google