Towards a Unified View of Affinity-Based Knowledge Distillation

要約

人工ニューラル ネットワーク間の知識伝達は、深層学習における重要なトピックになっています。
未解決の問題の中には、移転のためにどのような種類の知識を保存する必要があるか、そしてそれを効果的に達成するにはどうすればよいかという問題があります。
最近のいくつかの研究では、関係ベースの知識を使用した蒸留法の優れたパフォーマンスが示されています。
これらのアルゴリズムは、単純なサンプル間の類似性に基づいているという点で非常に魅力的です。
それにもかかわらず、このコンテキストでの親和性の適切な測定基準とその使用法は、十分に理解されていません。
この論文では、知識の蒸留を3つのコンポーネント、つまりアフィニティ、正規化、および損失のフレームワークに明示的にモジュール化することにより、これらのアルゴリズムの統一された扱いを提供するだけでなく、モジュールの未調査の組み合わせの数を研究します。
このフレームワークを使用して、画像分類のための多数の蒸留目標の広範な評価を実行し、効果的な設計の選択に役立ついくつかの有用な洞察を得ながら、関係ベースの知識の蒸留がどのように単純さにもかかわらず最先端に匹敵するパフォーマンスを達成できるかを実証します。

要約(オリジナル)

Knowledge transfer between artificial neural networks has become an important topic in deep learning. Among the open questions are what kind of knowledge needs to be preserved for the transfer, and how it can be effectively achieved. Several recent work have shown good performance of distillation methods using relation-based knowledge. These algorithms are extremely attractive in that they are based on simple inter-sample similarities. Nevertheless, a proper metric of affinity and use of it in this context is far from well understood. In this paper, by explicitly modularising knowledge distillation into a framework of three components, i.e. affinity, normalisation, and loss, we give a unified treatment of these algorithms as well as study a number of unexplored combinations of the modules. With this framework we perform extensive evaluations of numerous distillation objectives for image classification, and obtain a few useful insights for effective design choices while demonstrating how relation-based knowledge distillation could achieve comparable performance to the state of the art in spite of the simplicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google