Customizing Language Models with Instance-wise LoRA for Sequential Recommendation

要約

シーケンシャル レコメンデーション システムは、過去のインタラクションを分析し、レコメンデーションを個人の好みに合わせて、ユーザーが次に興味を持つアイテムを予測します。
知識の理解と推論における大規模言語モデル (LLM) の強みを活用する最近のアプローチでは、言語生成パラダイムを通じて逐次的な推奨に LLM が適用されています。
これらのメソッドは、ユーザーの行動シーケンスを LLM 微調整用のプロンプトに変換し、低ランク適応 (LoRA) モジュールを利用して推奨事項を調整します。
ただし、多様なユーザー行動全体に LoRA を均一に適用すると、個人のばらつきを捉えることができない場合があり、最適ではないパフォーマンスや、異なるシーケンス間でのマイナスの伝達につながります。
これらの課題に対処するために、私たちは、LoRA を Mixture of Experts (MoE) フレームワークと統合する、Instance-wise LoRA (iLoRA) を提案します。
iLoRA は、ユーザーの好みの特定の側面をそれぞれが把握する多様な専門家を作成し、シーケンス表現のガイド付きゲート機能を導入します。
このゲート機能は、過去のインタラクション シーケンスを処理して強化された表現を生成し、カスタマイズされた専門家参加の重みを出力するようにゲート ネットワークを導きます。
このカスタマイズされたアプローチは、ネガティブな伝達を軽減し、多様な行動パターンに動的に適応します。
3 つのベンチマーク データセットに対する広範な実験により、iLoRA の有効性が実証され、ユーザー固有の好みの把握と推奨精度の向上において、既存の方法と比較して iLoRA の優れたパフォーマンスが強調されています。

要約(オリジナル)

Sequential recommendation systems predict a user’s next item of interest by analyzing past interactions, aligning recommendations with individual preferences. Leveraging the strengths of Large Language Models (LLMs) in knowledge comprehension and reasoning, recent approaches have applied LLMs to sequential recommendation through language generation paradigms. These methods convert user behavior sequences into prompts for LLM fine-tuning, utilizing Low-Rank Adaptation (LoRA) modules to refine recommendations. However, the uniform application of LoRA across diverse user behaviors sometimes fails to capture individual variability, leading to suboptimal performance and negative transfer between disparate sequences. To address these challenges, we propose Instance-wise LoRA (iLoRA), integrating LoRA with the Mixture of Experts (MoE) framework. iLoRA creates a diverse array of experts, each capturing specific aspects of user preferences, and introduces a sequence representation guided gate function. This gate function processes historical interaction sequences to generate enriched representations, guiding the gating network to output customized expert participation weights. This tailored approach mitigates negative transfer and dynamically adjusts to diverse behavior patterns. Extensive experiments on three benchmark datasets demonstrate the effectiveness of iLoRA, highlighting its superior performance compared to existing methods in capturing user-specific preferences and improving recommendation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google