Conditional Generative Data-free Knowledge Distillation

要約

知識の蒸留は、モデルの圧縮において目覚ましい成果を上げています。
ただし、ほとんどの既存の方法では元のトレーニング データが必要ですが、これは通常、プライバシーとセキュリティの問題のために利用できません。
この論文では、トレーニングデータなしで軽量ネットワークをトレーニングするための条件付き生成データフリー知識蒸留（CGDD）フレームワークを提案します。
この方法は、条件付き画像生成に基づく効率的な知識の抽出を実現します。
具体的には、事前設定されたラベルをグラウンド トゥルースとして扱い、半教師付き方法で条件付きジェネレーターをトレーニングします。
トレーニング済みジェネレーターは、指定されたクラスのトレーニング イメージを生成できます。
学生ネットワークをトレーニングするために、学習プロセスに重要な手がかりを提供する、教師の特徴マップに隠されている知識を強制的に抽出します。
さらに、いくつかの損失関数を設計することにより、蒸留性能を促進するための敵対的訓練フレームワークが構築されます。
このフレームワークは、学生モデルがより大きなデータ空間を探索するのに役立ちます。
提案された方法の有効性を実証するために、さまざまなデータセットで広範な実験を行います。
他のデータフリーの作業と比較して、私たちの作業は、CIFAR100、Caltech101、および ImageNet データセットのさまざまなバージョンで最先端の結果を取得します。
コードが公開されます。

要約(オリジナル)

Knowledge distillation has made remarkable achievements in model compression. However, most existing methods require the original training data, which is usually unavailable due to privacy and security issues. In this paper, we propose a conditional generative data-free knowledge distillation (CGDD) framework for training lightweight networks without any training data. This method realizes efficient knowledge distillation based on conditional image generation. Specifically, we treat the preset labels as ground truth to train a conditional generator in a semi-supervised manner. The trained generator can produce specified classes of training images. For training the student network, we force it to extract the knowledge hidden in teacher feature maps, which provide crucial cues for the learning process. Moreover, an adversarial training framework for promoting distillation performance is constructed by designing several loss functions. This framework helps the student model to explore larger data space. To demonstrate the effectiveness of the proposed method, we conduct extensive experiments on different datasets. Compared with other data-free works, our work obtains state-of-the-art results on CIFAR100, Caltech101, and different versions of ImageNet datasets. The codes will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google