Function-Consistent Feature Distillation

要約

タイトル：関数の一致する特徴の蒸留
要約：
– 特徴蒸留とは、生徒が教師の中間特徴を模倣することを目的とする学習手法である。
– ほとんどの特徴蒸留手法は、教師と生徒の特徴の間のL2距離またはそのわずかな変種を距離尺度として使用する。
– しかし、L2距離はすべての次元にわたって等方的であるのに対し、ニューラルネットワークの操作は通常、異方的であるため、中間特徴の異なる次元の同じ2ノルムの摂動は、最終出力の大幅に異なる変化を引き起こすことがある。
– このことを考慮すると、教師と生徒の特徴の類似性は、外観（つまり、L2距離）だけで測定すべきではなく、より重要なことは、後半の層がそれらをどのように読み込み、デコードし、処理するか、すなわち、機能の違いで測定すべきであると主張する。
– そこで、本研究では、関数の一致する特徴の蒸留（FCFD）を提案し、教師と生徒の特徴の機能的な類似性を明示的に最適化する。
– FCFDの核心的なアイデアは、教師と生徒の特徴が数値的に類似しているだけでなく、同じネットワークの後半に与えた場合に類似した出力を生成するようにすることである。
– FCFDにより、生徒はより忠実に教師を模倣し、より多くのことを教師から学ぶことができる。
– 画像分類や物体検出における広範な実験により、FCFDが既存の手法よりも優れていることが示された。
– さらに、FCFDを多くの既存の手法と組み合わせることで、さらに高い精度を得ることができる。
– コードはhttps://github.com/LiuDongyang6/FCFDで公開されている。

要約(オリジナル)

Feature distillation makes the student mimic the intermediate features of the teacher. Nearly all existing feature-distillation methods use L2 distance or its slight variants as the distance metric between teacher and student features. However, while L2 distance is isotropic w.r.t. all dimensions, the neural network’s operation on different dimensions is usually anisotropic, i.e., perturbations with the same 2-norm but in different dimensions of intermediate features lead to changes in the final output with largely different magnitude. Considering this, we argue that the similarity between teacher and student features should not be measured merely based on their appearance (i.e., L2 distance), but should, more importantly, be measured by their difference in function, namely how later layers of the network will read, decode, and process them. Therefore, we propose Function-Consistent Feature Distillation (FCFD), which explicitly optimizes the functional similarity between teacher and student features. The core idea of FCFD is to make teacher and student features not only numerically similar, but more importantly produce similar outputs when fed to the later part of the same network. With FCFD, the student mimics the teacher more faithfully and learns more from the teacher. Extensive experiments on image classification and object detection demonstrate the superiority of FCFD to existing methods. Furthermore, we can combine FCFD with many existing methods to obtain even higher accuracy. Our codes are available at https://github.com/LiuDongyang6/FCFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI