On Explaining Knowledge Distillation: Measuring and Visualising the Knowledge Transfer Process

要約

教師から生徒への知識伝達プロセスの不透明な性質により、知識蒸留 (KD) は依然として課題があり、KD に関連する特定の問題に対処することが困難になっています。
これに対処するために、KD 中に学習した知識を効果的に解釈する新しい勾配ベースの視覚的説明方法である UniCAM を提案しました。
私たちの実験結果は、教師の知識の指導により、生徒モデルがより効率的になり、関連性のない機能を破棄しながら、より関連性の高い機能を学習することを示しています。
教師の指導によって学習された特徴を抽出された特徴と呼び、タスクに無関係で生徒が無視した特徴を残余特徴と呼びます。
抽出された特徴は、テクスチャやオブジェクトの一部など、入力の重要な側面に焦点を当てています。
対照的に、残差特徴はより拡散した注意を示し、多くの場合、ターゲット オブジェクトの背景など、無関係な領域をターゲットにします。
さらに、特徴類似性スコア (FSS) と抽出された知識の関連性を定量化する関連性スコア (RS) という 2 つの新しい指標を提案しました。
CIFAR10、ASIRRA、植物病データセットの実験では、UniCAM と 2 つの指標が KD プロセスを説明する貴重な洞察を提供することを実証しています。

要約(オリジナル)

Knowledge distillation (KD) remains challenging due to the opaque nature of the knowledge transfer process from a Teacher to a Student, making it difficult to address certain issues related to KD. To address this, we proposed UniCAM, a novel gradient-based visual explanation method, which effectively interprets the knowledge learned during KD. Our experimental results demonstrate that with the guidance of the Teacher’s knowledge, the Student model becomes more efficient, learning more relevant features while discarding those that are not relevant. We refer to the features learned with the Teacher’s guidance as distilled features and the features irrelevant to the task and ignored by the Student as residual features. Distilled features focus on key aspects of the input, such as textures and parts of objects. In contrast, residual features demonstrate more diffused attention, often targeting irrelevant areas, including the backgrounds of the target objects. In addition, we proposed two novel metrics: the feature similarity score (FSS) and the relevance score (RS), which quantify the relevance of the distilled knowledge. Experiments on the CIFAR10, ASIRRA, and Plant Disease datasets demonstrate that UniCAM and the two metrics offer valuable insights to explain the KD process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google