Leveraging Different Learning Styles for Improved Knowledge Distillation

要約

学習スタイルとは、個人が新しい知識を得るために採用するトレーニングメカニズムのタイプを指します。VARKモデルで示唆されているように、人間は情報を獲得し効果的に処理するために、視覚、聴覚などの異なる学習嗜好を持っています。この概念に触発され、我々の研究は知識蒸留（KD）と相互学習（ML）の文脈で、モデル圧縮と混合情報共有のアイデアを探求しています。従来の技術では、全てのネットワークで同じ種類の知識を共有していたが、我々は、学習プロセスを強化するために、個々のネットワークに異なる形式の情報を学習させることを提案する。我々は、1つの教師ネットワークと2つの生徒ネットワークが予測値と特徴マップの形で情報を共有または交換する、KDとMLを組み合わせたフレームワークを定式化する。分類とセグメンテーションのベンチマークデータセットを用いた我々の包括的な実験により、15%の圧縮を行った場合、様々な形式の知識を用いて学習したネットワークのアンサンブル性能は、定量的・定性的にも従来の技術を上回ることが実証された。

要約(オリジナル)

Learning style refers to a type of training mechanism adopted by an individual to gain new knowledge. As suggested by the VARK model, humans have different learning preferences like visual, auditory, etc., for acquiring and effectively processing information. Inspired by this concept, our work explores the idea of mixed information sharing with model compression in the context of Knowledge Distillation (KD) and Mutual Learning (ML). Unlike conventional techniques that share the same type of knowledge with all networks, we propose to train individual networks with different forms of information to enhance the learning process. We formulate a combined KD and ML framework with one teacher and two student networks that share or exchange information in the form of predictions and feature maps. Our comprehensive experiments with benchmark classification and segmentation datasets demonstrate that with 15% compression, the ensemble performance of networks trained with diverse forms of knowledge outperforms the conventional techniques both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL