Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models

要約

大規模な言語モデル（LLMS）は、セマンティックパターンの理解と生成において並外れたパフォーマンスを実証しており、連続的な推奨タスクの有望な候補者になっています。
ただし、従来の推奨モデル（CRM）と組み合わせると、LLMは多くの場合、高い推論コストと静的な知識転送方法に関連する課題に直面しています。
この論文では、LLM中心とCRMベースの推奨システム間の動的および双方向の知識交換を促進する新しい相互蒸留フレームワークLLMD4RECを提案します。
従来の一方向性蒸留方法とは異なり、LLMD4RECは両方のモデルを交互に改良し、CRMSのセマンティック理解を高め、ユーザーアイテムの相互作用からの共同信号でLLMを濃縮することにより、反復的な最適化を可能にします。
サンプルごとの適応重み付けを活用し、出力分布を調整することにより、私たちのアプローチは、効果的な知識移転を確保しながら、追加のパラメーターの必要性を排除します。
実際のデータセットでの広範な実験は、LLMD4RECが推論コストを増加させることなく複数のベンチマークにわたって推奨の精度を大幅に改善することを示しています。
この方法は、順次推奨システムでLLMとCRMの両方の強度を組み合わせるためのスケーラブルで効率的なソリューションを提供します。

要約(オリジナル)

Large language models (LLMs) have demonstrated exceptional performance in understanding and generating semantic patterns, making them promising candidates for sequential recommendation tasks. However, when combined with conventional recommendation models (CRMs), LLMs often face challenges related to high inference costs and static knowledge transfer methods. In this paper, we propose a novel mutual distillation framework, LLMD4Rec, that fosters dynamic and bidirectional knowledge exchange between LLM-centric and CRM-based recommendation systems. Unlike traditional unidirectional distillation methods, LLMD4Rec enables iterative optimization by alternately refining both models, enhancing the semantic understanding of CRMs and enriching LLMs with collaborative signals from user-item interactions. By leveraging sample-wise adaptive weighting and aligning output distributions, our approach eliminates the need for additional parameters while ensuring effective knowledge transfer. Extensive experiments on real-world datasets demonstrate that LLMD4Rec significantly improves recommendation accuracy across multiple benchmarks without increasing inference costs. This method provides a scalable and efficient solution for combining the strengths of both LLMs and CRMs in sequential recommendation systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google