Leveraging Different Learning Styles for Improved Knowledge Distillation

要約

学習スタイルとは、個人が新しい知識を得るために採用するトレーニングメカニズムの種類を指します。VARKモデルで示唆されているように、人間は情報を取得し、効果的に処理するために、視覚、聴覚などの異なる学習選好を持っています。この概念に触発され、我々の研究では、知識蒸留（KD）と相互学習（ML）の文脈で、モデル圧縮を伴う混合情報共有のアイデアを探求しています。すべてのネットワークで同じ種類の知識を共有する従来の技術とは異なり、我々は、学習プロセスを強化するために、個々のネットワークに異なる形式の情報を訓練することを提案する。我々は、1つの教師と2つの生徒のネットワークが、予測や特徴マップの形で情報を共有または交換する、KDとMLを組み合わせたフレームワークを定式化する。ベンチマークとなる分類とセグメンテーションのデータセットを用いた包括的な実験により、15%の圧縮率で、様々な形式の知識で訓練されたネットワークのアンサンブル性能が、定量的にも定性的にも従来技術を上回ることが実証された。

要約(オリジナル)

Learning style refers to a type of training mechanism adopted by an individual to gain new knowledge. As suggested by the VARK model, humans have different learning preferences like visual, auditory, etc., for acquiring and effectively processing information. Inspired by this concept, our work explores the idea of mixed information sharing with model compression in the context of Knowledge Distillation (KD) and Mutual Learning (ML). Unlike conventional techniques that share the same type of knowledge with all networks, we propose to train individual networks with different forms of information to enhance the learning process. We formulate a combined KD and ML framework with one teacher and two student networks that share or exchange information in the form of predictions and feature maps. Our comprehensive experiments with benchmark classification and segmentation datasets demonstrate that with 15% compression, the ensemble performance of networks trained with diverse forms of knowledge outperforms the conventional techniques both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL