How to Teach: Learning Data-Free Knowledge Distillation from Curriculum

要約

データフリー知識蒸留 (DFKD) は、トレーニング データなしで教師ネットワークから軽量の学生ネットワークをトレーニングすることを目的としています。
既存のアプローチは主に、有益なサンプルを生成し、事前データ、境界サンプル、またはメモリ サンプルを対象とすることで学生モデルを徐々に更新するというパラダイムに従っています。
しかし、従来の DFKD 手法では、さまざまなトレーニング段階で生成戦略を動的に調整することが難しく、効率的で安定したトレーニングを実現することが困難でした。
この論文では、カリキュラム学習 (CL) の観点からモデルを学生に教える方法を探り、新しいアプローチ、つまり「CuDFKD」、つまり「カリキュラムによるデータフリー知識蒸留」を提案します。
人間が学習するのと同じように、簡単なサンプルから難しいサンプルへと徐々に学習します。
さらに、メジャーライゼーション最小化 (MM) アルゴリズムの理論的分析を提供し、CuDFKD の収束について説明します。
ベンチマーク データセットで実施された実験では、単純なコース設計戦略により、CuDFKD が最先端の DFKD メソッドやさまざまなベンチマーク (CIFAR10 での ResNet18 モデルの 95.28\% top1 精度など) よりも優れた最高のパフォーマンスを達成することが示されています。
データを使用してゼロからトレーニングするよりも。
トレーニングは高速で、30 エポック以内に 90\% の最高精度に達し、トレーニング中の分散は安定しています。
また、この論文では、CuDFKD の適用性についても分析し、議論します。

要約(オリジナル)

Data-free knowledge distillation (DFKD) aims at training lightweight student networks from teacher networks without training data. Existing approaches mainly follow the paradigm of generating informative samples and progressively updating student models by targeting data priors, boundary samples or memory samples. However, it is difficult for the previous DFKD methods to dynamically adjust the generation strategy at different training stages, which in turn makes it difficult to achieve efficient and stable training. In this paper, we explore how to teach students the model from a curriculum learning (CL) perspective and propose a new approach, namely ‘CuDFKD’, i.e., ‘Data-Free Knowledge Distillation with Curriculum’. It gradually learns from easy samples to difficult samples, which is similar to the way humans learn. In addition, we provide a theoretical analysis of the majorization minimization (MM) algorithm and explain the convergence of CuDFKD. Experiments conducted on benchmark datasets show that with a simple course design strategy, CuDFKD achieves the best performance over state-of-the-art DFKD methods and different benchmarks, such as 95.28\% top1 accuracy of the ResNet18 model on CIFAR10, which is better than training from scratch with data. The training is fast, reaching the highest accuracy of 90\% within 30 epochs, and the variance during training is stable. Also in this paper, the applicability of CuDFKD is also analyzed and discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google