Dual Correction Strategy for Ranking Distillation in Top-N Recommender System

要約

知識蒸留(Knowledge Distillation: KD)は、十分に訓練された大きなモデル(教師)の知識を小さなモデル(生徒)に伝達するものであり、推薦システムの実用的な展開のための重要な研究分野となっている。近年、Relaxed Ranking Distillation (RRD)により、推薦リストのランキング情報を蒸留することで性能が大幅に向上することが示された。しかし、この手法には、1)学習者モデルの予測誤差を十分に利用していないため、学習効率が十分でない、2)ユーザ側のランキング情報のみを蒸留するため、疎な暗黙的フィードバックの下では十分な見通しが得られない、という限界がある。本論文では、より効率的な方法で教師モデルから生徒モデルへランキング情報を転送するDCD(Dual Correction strategy for Distillation)を提案する。最も重要な点として、DCDは教師モデルと生徒モデルの予測値の不一致を利用して、蒸留すべき知識を決定する。そうすることで、DCDは本質的に、生徒モデルが正確に予測できなかったことを「修正」するように調整された学習ガイダンスを提供する。このプロセスは、疎な暗黙的ユーザフィードバックに対処するために、項目側だけでなくユーザ側からのランキング情報の転送にも適用される。我々の実験により、提案手法は最先端のベースラインを上回ることが示され、アブレーション研究により各要素の有効性が検証された。

要約(オリジナル)

Knowledge Distillation (KD), which transfers the knowledge of a well-trained large model (teacher) to a small model (student), has become an important area of research for practical deployment of recommender systems. Recently, Relaxed Ranking Distillation (RRD) has shown that distilling the ranking information in the recommendation list significantly improves the performance. However, the method still has limitations in that 1) it does not fully utilize the prediction errors of the student model, which makes the training not fully efficient, and 2) it only distills the user-side ranking information, which provides an insufficient view under the sparse implicit feedback. This paper presents Dual Correction strategy for Distillation (DCD), which transfers the ranking information from the teacher model to the student model in a more efficient manner. Most importantly, DCD uses the discrepancy between the teacher model and the student model predictions to decide which knowledge to be distilled. By doing so, DCD essentially provides the learning guidance tailored to ‘correcting’ what the student model has failed to accurately predict. This process is applied for transferring the ranking information from the user-side as well as the item-side to address sparse implicit user feedback. Our experiments show that the proposed method outperforms the state-of-the-art baselines, and ablation studies validate the effectiveness of each component.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL