Black-box Few-shot Knowledge Distillation

要約

知識蒸留（KD）は、大規模な「教師」ネットワークから小規模な「学生」ネットワークに知識を転送するための効率的なアプローチです。
従来のKD手法では、優秀な生徒をトレーニングするために、多くのラベル付きトレーニングサンプルとホワイトボックス教師（パラメーターにアクセス可能）が必要です。
ただし、これらのリソースは、実際のアプリケーションで常に利用できるとは限りません。
蒸留プロセスは、多くのデータにアクセスできない外部の関係者側で行われることが多く、セキュリティとプライバシーの懸念から、教師はそのパラメータを開示しません。
これらの課題を克服するために、ラベルのないトレーニングサンプルとブラックボックスの教師をほとんど使用せずに生徒をトレーニングするためのブラックボックスの数ショットKDメソッドを提案します。
私たちの主なアイデアは、MixUpと条件付き変分オートエンコーダーを使用して、配布されていない合成画像の多様なセットを生成することにより、トレーニングセットを拡張することです。
これらの合成画像は、教師から取得したラベルとともに、生徒のトレーニングに使用されます。
私たちの方法が画像分類タスクで最近のSOTA少数/ゼロショットKD方法を大幅に上回っていることを示すために、広範な実験を実施します。
コードとモデルは、https：//github.com/nphdang/FS-BBTで入手できます。

要約(オリジナル)

Knowledge distillation (KD) is an efficient approach to transfer the knowledge from a large ‘teacher’ network to a smaller ‘student’ network. Traditional KD methods require lots of labeled training samples and a white-box teacher (parameters are accessible) to train a good student. However, these resources are not always available in real-world applications. The distillation process often happens at an external party side where we do not have access to much data, and the teacher does not disclose its parameters due to security and privacy concerns. To overcome these challenges, we propose a black-box few-shot KD method to train the student with few unlabeled training samples and a black-box teacher. Our main idea is to expand the training set by generating a diverse set of out-of-distribution synthetic images using MixUp and a conditional variational auto-encoder. These synthetic images along with their labels obtained from the teacher are used to train the student. We conduct extensive experiments to show that our method significantly outperforms recent SOTA few/zero-shot KD methods on image classification tasks. The code and models are available at: https://github.com/nphdang/FS-BBT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google