Can Small Language Models be Good Reasoners for Sequential Recommendation?

要約

大規模言語モデル (LLM) は、その優れた言語理解と生成機能により、逐次的なレコメンデーションの新たな可能性を切り開きます。
ただし、LLM による逐次的な推奨事項を適切に実装するには、解決すべき課題がまだ数多くあります。
まず、ユーザーの行動パターンは複雑であることが多く、LLM からの 1 ステップの推論のみに依存すると、不正確な応答やタスクと無関係な応答が発生する可能性があります。
第二に、LLM (ChatGPT-175B など) の法外なリソース要件は圧倒的に高く、実際の逐次レコメンダー システムでは非現実的です。
この論文では、新しいステップバイステップの推奨用知識蒸留フレームワーク (SLIM) を提案し、逐次推奨者が LLM の優れた推論機能を「スリム」 (つまり、リソース効率の良い) 方法で享受できる有望な道を切り開きます。
。
より大きな教師モデルに対して、ユーザーの行動シーケンスに基づいた CoT プロンプトを導入します。
教師モデルによって生成された理論的根拠は、下流のより小さな生徒モデル (LLaMA2-7B など) を抽出するためのラベルとして利用されます。
このようにして、学生モデルは、推奨タスクにおける段階的な推論能力を獲得します。
学生モデルから生成された理論的根拠を高密度ベクトルにエンコードし、ID ベースのシナリオと ID に依存しないシナリオの両方で推奨を可能にします。
広範な実験により、最先端のベースラインに対する SLIM の有効性が実証され、さらなる分析により、手頃なコストで有意義な推奨推論を生成できる SLIM の能力が実証されました。

要約(オリジナル)

Large language models (LLMs) open up new horizons for sequential recommendations, owing to their remarkable language comprehension and generation capabilities. However, there are still numerous challenges that should be addressed to successfully implement sequential recommendations empowered by LLMs. Firstly, user behavior patterns are often complex, and relying solely on one-step reasoning from LLMs may lead to incorrect or task-irrelevant responses. Secondly, the prohibitively resource requirements of LLM (e.g., ChatGPT-175B) are overwhelmingly high and impractical for real sequential recommender systems. In this paper, we propose a novel Step-by-step knowLedge dIstillation fraMework for recommendation (SLIM), paving a promising path for sequential recommenders to enjoy the exceptional reasoning capabilities of LLMs in a ‘slim’ (i.e., resource-efficient) manner. We introduce CoT prompting based on user behavior sequences for the larger teacher model. The rationales generated by the teacher model are then utilized as labels to distill the downstream smaller student model (e.g., LLaMA2-7B). In this way, the student model acquires the step-by-step reasoning capabilities in recommendation tasks. We encode the generated rationales from the student model into a dense vector, which empowers recommendation in both ID-based and ID-agnostic scenarios. Extensive experiments demonstrate the effectiveness of SLIM over state-of-the-art baselines, and further analysis showcasing its ability to generate meaningful recommendation reasoning at affordable costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google