Sampling to Distill: Knowledge Transfer from Open-World Data

要約

データフリー知識蒸留 (DFKD) は、元のトレーニング データを使用せずに教師ネットワークのみを使用して、高性能の生徒モデルをトレーニングすることを目的とした新しいタスクです。
有望な結果にもかかわらず、既存の DFKD 手法は、計算コストの高い生成モジュールに大きく依存しています。
一方、彼らは、生成されたデータと元のデータに監視情報の欠如によるドメインシフトが存在するという事実を無視しています。
さらに、複数の例間の暗黙の関係を無視して、知識は各例を通じて伝達されます。
この目的を達成するために、我々は冗長な生成プロセスを必要としない新しいオープンワールド データ サンプリング蒸留 (ODSD) 手法を提案します。
まず、適応サンプリング モジュールによって、元のデータの分布に近いオープンワールド データをサンプリングしようとします。
次に、ドメインのシフトを軽減するために低ノイズ表現を導入し、データ知識を活用するために複数のデータ例の構造化された関係を構築します。
CIFAR-10、CIFAR-100、NYUv2、および ImageNet に関する広範な実験により、当社の ODSD メソッドが最先端のパフォーマンスを達成することが示されました。
特に、既存の結果と比較して、ImageNet データセットの精度が 1.50\%-9.59\% 向上しました。

要約(オリジナル)

Data-Free Knowledge Distillation (DFKD) is a novel task that aims to train high-performance student models using only the teacher network without original training data. Despite encouraging results, existing DFKD methods rely heavily on generation modules with high computational costs. Meanwhile, they ignore the fact that the generated and original data exist domain shifts due to the lack of supervision information. Moreover, knowledge is transferred through each example, ignoring the implicit relationship among multiple examples. To this end, we propose a novel Open-world Data Sampling Distillation (ODSD) method without a redundant generation process. First, we try to sample open-world data close to the original data’s distribution by an adaptive sampling module. Then, we introduce a low-noise representation to alleviate the domain shifts and build a structured relationship of multiple data examples to exploit data knowledge. Extensive experiments on CIFAR-10, CIFAR-100, NYUv2, and ImageNet show that our ODSD method achieves state-of-the-art performance. Especially, we improve 1.50\%-9.59\% accuracy on the ImageNet dataset compared with the existing results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google