Synthetic data generation method for data-free knowledge distillation in regression neural networks

要約

タイトル：回帰ニューラルネットワークのデータフリー知識蒸留における合成データ生成法

要約：
– 知識蒸留は、teacher（大きなニューラルネットワーク）をstudent（小さなニューラルネットワーク）に圧縮する技術であり、teacherの性能をできるだけ保ったまま小さな学習済みニューラルネットワークにすることを目的とする。
– 先行研究では、分類タスクについての知識蒸留の方法が主に提案されてきた。しかしながら、回帰タスクについては、teacherが使用した元のトレーニングデータにアクセスできない場合の知識蒸留の問題が残っていた。
– そこで、先行研究では、合成データが生成され、そのラベルをteacherモデルが予測したものを用いて、studentモデルをトレーニングするデータフリー知識蒸留法が提案された。
– 本研究では、さまざまな合成データ生成手法の振る舞いを調査し、studentモデルとteacherモデルの間に大きなが、限定的な差を最適化する新しい合成データ生成戦略を提案する。
– ベンチマーク実験およびケーススタディ実験の結果から、提案された戦略は、studentモデルがより良く学習し、teacherモデルの性能をより近く再現することができることが示された。

要約(オリジナル)

Knowledge distillation is the technique of compressing a larger neural network, known as the teacher, into a smaller neural network, known as the student, while still trying to maintain the performance of the larger neural network as much as possible. Existing methods of knowledge distillation are mostly applicable for classification tasks. Many of them also require access to the data used to train the teacher model. To address the problem of knowledge distillation for regression tasks under the absence of original training data, previous work has proposed a data-free knowledge distillation method where synthetic data are generated using a generator model trained adversarially against the student model. These synthetic data and their labels predicted by the teacher model are then used to train the student model. In this study, we investigate the behavior of various synthetic data generation methods and propose a new synthetic data generation strategy that directly optimizes for a large but bounded difference between the student and teacher model. Our results on benchmark and case study experiments demonstrate that the proposed strategy allows the student model to learn better and emulate the performance of the teacher model more closely.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI