Instance Temperature Knowledge Distillation

要約

知識蒸留（KD）は、教師ネットワークから転送された知識を段階的に学習できるようにすることにより、学生ネットワークのパフォーマンスを向上させます。
既存の方法は、学生ネットワークがKDのさまざまな学習段階でさまざまな学習困難に適応できるように温度を動的に調整します。
KDは継続的なプロセスですが、温度を調整する場合、これらの方法は現在の学習段階での操作の即時の利点のみを考慮し、将来のリターンを考慮に入れることができません。
この問題に対処するために、温度の調整を順次意思決定タスクとして策定し、RLKDと呼ばれる補強学習に基づいた方法を提案します。
重要なことに、エージェントがより多くの情報に基づいたアクション（つまり、インスタンスの温度調整）を可能にするために、新しい状態表現を設計します。
KD設定により、メソッドの遅延報酬の問題を処理するために、インスタンス報酬キャリブレーションアプローチを検討します。
さらに、エージェントが貴重なインスタンス温度調整ポリシーをより効率的に学習できるようにする効率的な探索戦略を考案します。
私たちのフレームワークは、さまざまなKDメソッドに簡単に挿入するプラグアンドプレイ手法として機能し、画像分類とオブジェクト検出タスクの両方でその効果を検証します。
私たちのプロジェクトはhttps://www.zayx.me/itkd.github.io/にあります。

要約(オリジナル)

Knowledge distillation (KD) enhances the performance of a student network by allowing it to learn the knowledge transferred from a teacher network incrementally. Existing methods dynamically adjust the temperature to enable the student network to adapt to the varying learning difficulties at different learning stages of KD. KD is a continuous process, but when adjusting the temperature, these methods consider only the immediate benefits of the operation in the current learning phase and fail to take into account its future returns. To address this issue, we formulate the adjustment of temperature as a sequential decision-making task and propose a method based on reinforcement learning, termed RLKD. Importantly, we design a novel state representation to enable the agent to make more informed action (i.e. instance temperature adjustment). To handle the problem of delayed rewards in our method due to the KD setting, we explore an instance reward calibration approach. In addition,we devise an efficient exploration strategy that enables the agent to learn valuable instance temperature adjustment policy more efficiently. Our framework can serve as a plug-and-play technique to be inserted into various KD methods easily, and we validate its effectiveness on both image classification and object detection tasks. Our project is at https://www.zayx.me/ITKD.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google