Distillation from Heterogeneous Models for Top-K Recommendation

要約

最近のレコメンダー システムは、異種モデルのアンサンブルを使用することで、驚くべきパフォーマンスを示しています。
ただし、モデル数に比例したリソースと推論レイテンシーが必要なため、非常にコストがかかり、本番のボトルネックのままです。
私たちの仕事は、知識蒸留 (KD) を使用して異種教師のアンサンブル知識を軽量の生徒モデルに転送し、高い精度を維持しながら膨大な推論コストを削減することを目的としています。
経験的研究を通じて、異質な教師から知識を伝えると、蒸留の有効性が大幅に低下することがわかりました。
それにもかかわらず、難易度を緩和するための重要な信号が、教師のトレーニング軌跡から得られることを示しています。
この論文では、HetComp という名前の新しい KD フレームワークを提案します。このフレームワークは、教師の軌跡から生成された知識の簡単なものから難しいものへのシーケンスを転送することによって学生モデルを導きます。
学生の学習状況に応じたガイダンスを提供するために、HetComp は、動的な知識構築を使用して、次第に難しくなるランキング知識を提供し、適応知識伝達を使用して、よりきめ細かいランキング情報を徐々に伝達します。
私たちの包括的な実験は、HetComp が蒸留品質と学生モデルの一般化を大幅に改善することを示しています。

要約(オリジナル)

Recent recommender systems have shown remarkable performance by using an ensemble of heterogeneous models. However, it is exceedingly costly because it requires resources and inference latency proportional to the number of models, which remains the bottleneck for production. Our work aims to transfer the ensemble knowledge of heterogeneous teachers to a lightweight student model using knowledge distillation (KD), to reduce the huge inference costs while retaining high accuracy. Through an empirical study, we find that the efficacy of distillation severely drops when transferring knowledge from heterogeneous teachers. Nevertheless, we show that an important signal to ease the difficulty can be obtained from the teacher’s training trajectory. This paper proposes a new KD framework, named HetComp, that guides the student model by transferring easy-to-hard sequences of knowledge generated from the teachers’ trajectories. To provide guidance according to the student’s learning state, HetComp uses dynamic knowledge construction to provide progressively difficult ranking knowledge and adaptive knowledge transfer to gradually transfer finer-grained ranking information. Our comprehensive experiments show that HetComp significantly improves the distillation quality and the generalization of the student model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google