Explicit and Implicit Knowledge Distillation via Unlabeled Data

要約

データを使用しない知識の蒸留は、元のデータセットが利用できないシナリオの場合、挑戦的なモデルの軽量タスクです。
以前の方法では、1 つまたは複数のジェネレーターを更新するために多くの余分な計算コストが必要であり、それらの素朴な模倣学習は蒸留効率の低下につながります。
これらの観察に基づいて、最初に効率的なラベルなしサンプル選択方法を提案して、計算能力の高いジェネレーターを置き換え、選択したサンプルのトレーニング効率の改善に焦点を当てます。
次に、クラス ドロップ メカニズムを設計して、データ ドメイン シフトによって引き起こされるラベル ノイズを抑制します。
最後に、蒸留の効果を向上させるために、明示的な機能と暗黙の構造化関係を組み込んだ蒸留方法を提案します。
実験結果は、私たちの方法が他の最先端の方法よりも迅速に収束し、より高い精度を得ることができることを示しています。

要約(オリジナル)

Data-free knowledge distillation is a challenging model lightweight task for scenarios in which the original dataset is not available. Previous methods require a lot of extra computational costs to update one or more generators and their naive imitate-learning lead to lower distillation efficiency. Based on these observations, we first propose an efficient unlabeled sample selection method to replace high computational generators and focus on improving the training efficiency of the selected samples. Then, a class-dropping mechanism is designed to suppress the label noise caused by the data domain shifts. Finally, we propose a distillation method that incorporates explicit features and implicit structured relations to improve the effect of distillation. Experimental results show that our method can quickly converge and obtain higher accuracy than other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google