Not All Knowledge Is Created Equal: Mutual Distillation of Confident Knowledge

要約

相互知識蒸留 (MKD) は、別のモデルから知識を抽出することによってモデルを改善します。
しかし、\textit{すべての知識が確かで正しいわけではありません}、特に悪条件の下では。
たとえば、ラベル ノイズは通常、望ましくない記憶のためにモデルの信頼性を低下させます \cite{zhang2017understanding,arpit2017closer}。
間違った知識は学習を助けるどころか誤解を招きます。
この問題は次の 2 つの側面で対処できます。
(ii) 蒸留に関する信頼できる知識を選択する。
文献では、モデルの信頼性を高めることが広く研究されていますが、選択的な MKD はほとんど注目されていません。
したがって、選択的なMKDの研究に焦点を当てています。
具体的には、一般的な MKD フレームワークである \underline{C}onfident knowledge selection に続く \underline{M}utual \underline{D}istillation (CMD) が設計されています。
CMD の重要な要素は、選択のしきい値を静的 (CMD-S) または漸進的 (CMD-P) にする一般的な知識の選択定式化です。
さらに、CMD は、ゼロ知識とすべての知識の 2 つの特殊なケースをカバーし、統合された MKD フレームワークにつながります。
CMD の有効性を実証し、CMD の設計を完全に正当化するために、広範な実験が行われています。
たとえば、CMD-P は、ラベル ノイズに対するロバスト性において、最先端の新しい結果を取得します。

要約(オリジナル)

Mutual knowledge distillation (MKD) improves a model by distilling knowledge from another model. However, \textit{not all knowledge is certain and correct}, especially under adverse conditions. For example, label noise usually leads to less reliable models due to undesired memorization \cite{zhang2017understanding,arpit2017closer}. Wrong knowledge misleads the learning rather than helps. This problem can be handled by two aspects: (i) improving the reliability of a model where the knowledge is from (i.e., knowledge source’s reliability); (ii) selecting reliable knowledge for distillation. In the literature, making a model more reliable is widely studied while selective MKD receives little attention. Therefore, we focus on studying selective MKD. Concretely, a generic MKD framework, \underline{C}onfident knowledge selection followed by \underline{M}utual \underline{D}istillation (CMD), is designed. The key component of CMD is a generic knowledge selection formulation, making the selection threshold either static (CMD-S) or progressive (CMD-P). Additionally, CMD covers two special cases: zero-knowledge and all knowledge, leading to a unified MKD framework. Extensive experiments are present to demonstrate the effectiveness of CMD and thoroughly justify the design of CMD. For example, CMD-P obtains new state-of-the-art results in robustness against label noise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google