MetaMixer: A Regularization Strategy for Online Knowledge Distillation

要約

近年、オンライン知識蒸留 (KD) への注目が高まっています。
ただし、ほとんどの既存のオンライン KD メソッドは、確率分布などの高レベルの知識の蒸留を改善するために、複雑なモデル構造とトレーニング戦略の開発に焦点を当てていますが、オンライン KD におけるマルチレベルの知識の効果は大きく見落とされています。
レベルの知識。
そこで、オンライン KD に新しい視点を提供するために、ネットワークのローカリゼーション機能に影響を与える低レベルの知識と、全体像に焦点を当てた高レベルの知識を組み合わせることで、蒸留を強化できる正則化戦略である MetaMixer を提案します。
.
さまざまな条件下での実験は、MetaMixer が最先端の方法よりも大幅なパフォーマンスの向上を達成できることを示しています。

要約(オリジナル)

Online knowledge distillation (KD) has received increasing attention in recent years. However, while most existing online KD methods focus on developing complicated model structures and training strategies to improve the distillation of high-level knowledge like probability distribution, the effects of the multi-level knowledge in the online KD are greatly overlooked, especially the low-level knowledge. Thus, to provide a novel viewpoint to online KD, we propose MetaMixer, a regularization strategy that can strengthen the distillation by combining the low-level knowledge that impacts the localization capability of the networks, and high-level knowledge that focuses on the whole image. Experiments under different conditions show that MetaMixer can achieve significant performance gains over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google