Leave No One Behind: Online Self-Supervised Self-Distillation for Sequential Recommendation

要約

逐次的な推奨方法は、最新の推奨システムにおいて極めて重要な役割を果たします。
重要な課題は、データが少ない状況でユーザーの好みを正確にモデル化することにあります。
この課題に取り組むために、最近の手法では対照学習 (CL) を活用し、元のユーザー行動シーケンスの 2 つの拡張ビューの相互情報を最大化することで自己監視信号を導き出します。
CL ベースの方法は、その有効性にもかかわらず、広範囲にわたる行動を持つユーザーが自然により多くの情報を提供するため、行動データが限られているユーザーに対して自己監視信号を十分に活用するには限界があります。
この問題に対処するために、逐次推奨のためのオンライン自己教師あり自己蒸留 ($S^4$Rec) という新しい学習パラダイムを導入し、自己教師あり学習と自己蒸留手法の間のギャップを効果的に橋渡しします。
具体的には、オンライン クラスタリングを採用して、ユーザーを個別の潜在的な意図に基づいて適切にグループ化します。
さらに、敵対的学習戦略を利用して、クラスタリング手順が動作の長さ係数の影響を受けないようにします。
その後、自己蒸留を使用して、広範な行動を持つユーザー (教師) から限定的な行動を持つユーザー (生徒) への知識の伝達を促進します。
4 つの現実世界のデータセットに対して行われた実験により、提案された方法の有効性が検証されます。

要約(オリジナル)

Sequential recommendation methods play a pivotal role in modern recommendation systems. A key challenge lies in accurately modeling user preferences in the face of data sparsity. To tackle this challenge, recent methods leverage contrastive learning (CL) to derive self-supervision signals by maximizing the mutual information of two augmented views of the original user behavior sequence. Despite their effectiveness, CL-based methods encounter a limitation in fully exploiting self-supervision signals for users with limited behavior data, as users with extensive behaviors naturally offer more information. To address this problem, we introduce a novel learning paradigm, named Online Self-Supervised Self-distillation for Sequential Recommendation ($S^4$Rec), effectively bridging the gap between self-supervised learning and self-distillation methods. Specifically, we employ online clustering to proficiently group users by their distinct latent intents. Additionally, an adversarial learning strategy is utilized to ensure that the clustering procedure is not affected by the behavior length factor. Subsequently, we employ self-distillation to facilitate the transfer of knowledge from users with extensive behaviors (teachers) to users with limited behaviors (students). Experiments conducted on four real-world datasets validate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google