Attention-based Knowledge Distillation in Multi-attention Tasks: The Impact of a DCT-driven Loss

要約

知識蒸留（Knowledge Distillation: KD）は、畳み込みニューラルネットワークの効率を向上させるために、一連の伝達可能なギャングウェイを定義するための戦略である。特徴ベースの知識蒸留は、KDのサブフィールドであり、中間ネットワーク表現（変更されていないか、最大活性化マップにより深度減少されたもの）をソース知識として利用するものである。本論文では、活性化マップを転送する前に、その2次元周波数変換を使用することを提案し、分析する。我々は、画素推定値ではなく、グローバルな画像の手がかりを用いることで、この戦略は、複数の様々な概念の間の強い空間的・文脈的関係によって定義されるシーン認識のようなタスクにおける知識伝達性を向上させることを提起する。提案手法を検証するために、シーン認識における最先端の広範な評価を行った。実験結果は、提案手法によって、生徒ネットワークが教師ネットワークによって学習された関連画像領域にうまく焦点を当てることができ、その結果、他のあらゆる最先端の代替手法よりも優れた記述的特徴と高い転送性能につながるという強い証拠を示している。本論文で使用した学習・評価フレームワークは、http://www-vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognition で公開しています。

要約(オリジナル)

Knowledge Distillation (KD) is a strategy for the definition of a set of transferability gangways to improve the efficiency of Convolutional Neural Networks. Feature-based Knowledge Distillation is a subfield of KD that relies on intermediate network representations, either unaltered or depth-reduced via maximum activation maps, as the source knowledge. In this paper, we propose and analyse the use of a 2D frequency transform of the activation maps before transferring them. We pose that\textemdash by using global image cues rather than pixel estimates, this strategy enhances knowledge transferability in tasks such as scene recognition, defined by strong spatial and contextual relationships between multiple and varied concepts. To validate the proposed method, an extensive evaluation of the state-of-the-art in scene recognition is presented. Experimental results provide strong evidences that the proposed strategy enables the student network to better focus on the relevant image areas learnt by the teacher network, hence leading to better descriptive features and higher transferred performance than every other state-of-the-art alternative. We publicly release the training and evaluation framework used along this paper at http://www-vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL