Generative Denoise Distillation: Simple Stochastic Noises Induce Efficient Knowledge Transfer for Dense Prediction

要約

知識の蒸留は、より強力な大規模モデル (教師) からより単純なモデル (生徒) に知識を伝達するプロセスです。
現在のアプローチの多くには、生徒が教師の知識を直接模倣することが含まれています。
ただし、これらの一般的な方法では、各空間位置の特徴を無差別に学習する傾向があるため、学習された表現には依然として冗長性が存在します。
人間の認知に触発されて、教師からよりコンパクトな表現 (概念特徴) を導き出すために、生成的ノイズ除去蒸留 (GDD) と呼ばれる革新的な方法を提案します。この方法では、生徒の概念特徴に確率的ノイズを追加して、それらを生徒の概念特徴に埋め込みます。
浅いネットワークから生成されたインスタンス フィーチャ。
次に、生成されたインスタンスの特徴が、教師からのインスタンスの知識と一致します。
私たちは、オブジェクト検出、インスタンス セグメンテーション、セマンティック セグメンテーションを広範囲に実験して、メソッドの多用途性と有効性を実証しています。
特に、GDD は上記のタスクにおいて新たな最先端のパフォーマンスを実現します。
どちらも ResNet-18 に基づいている PspNet と DeepLabV3 を強化することで、セマンティック セグメンテーションの大幅な改善を達成しました。その結果、mIoU スコアはそれぞれ 74.67 と 77.69 となり、20 カテゴリの Cityscapes データセットでの以前のスコア 69.85 と 73.20 を上回りました。
。
GDD のソース コードは https://github.com/ZhgLiu/GDD で入手できます。

要約(オリジナル)

Knowledge distillation is the process of transferring knowledge from a more powerful large model (teacher) to a simpler counterpart (student). Numerous current approaches involve the student imitating the knowledge of the teacher directly. However, redundancy still exists in the learned representations through these prevalent methods, which tend to learn each spatial location’s features indiscriminately. To derive a more compact representation (concept feature) from the teacher, inspired by human cognition, we suggest an innovative method, termed Generative Denoise Distillation (GDD), where stochastic noises are added to the concept feature of the student to embed them into the generated instance feature from a shallow network. Then, the generated instance feature is aligned with the knowledge of the instance from the teacher. We extensively experiment with object detection, instance segmentation, and semantic segmentation to demonstrate the versatility and effectiveness of our method. Notably, GDD achieves new state-of-the-art performance in the tasks mentioned above. We have achieved substantial improvements in semantic segmentation by enhancing PspNet and DeepLabV3, both of which are based on ResNet-18, resulting in mIoU scores of 74.67 and 77.69, respectively, surpassing their previous scores of 69.85 and 73.20 on the Cityscapes dataset of 20 categories. The source code of GDD is available at https://github.com/ZhgLiu/GDD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google