Customizing Language Models with Instance-wise LoRA for Sequential Recommendation

要約

逐次レコメンデーションシステムは、ユーザの過去のインタラクションに基づいて次のインタラクションアイテムを予測し、レコメンデーションを個人の嗜好に合わせる。知識理解と推論における大規模言語モデル（Large Language Models: LLM）の長所を活用し、最近のアプローチは逐次推薦にLLMを適用することに熱心である。一般的なパラダイムは、ユーザーの行動シーケンスを命令データに変換し、Low-Rank Adaption（LoRA）のようなパラメータ効率の良い微調整（PEFT）手法でLLMを微調整することである。しかし、多様なユーザー行動に対してLoRAを一律に適用することは、個人のばらつきを捉えるには不十分であり、その結果、異なるシーケンス間で負の伝達が発生する。これらの課題を解決するために、我々はインスタンスワイズLoRA（iLoRA）を提案する。LoRAをMoE（Mixture of Experts）フレームワークと統合することで、逐次推薦タスクをマルチタスク学習の一形態として革新的に扱う。このアプローチは、異なる専門家がユーザー行動の様々な側面を捉えることを促す。さらに、各ユーザシーケンスに対してカスタマイズされた専門家の参加重みを生成するシーケンス表現ガイド付きゲート関数を導入し、インスタンス単位の推薦のための動的なパラメータ調整を可能にする。逐次レコメンデーションにおいて、iLoRAは、学習可能なパラメータの相対的増加を1％未満に抑えながら、ヒット率指標において、基本LoRAと比較して、平均11.4％の相対的改善を達成した。3つのベンチマークデータセットを用いた広範な実験により、iLoRAの有効性が実証され、負の伝達を緩和し推薦精度を向上させる上で、既存の手法と比較して優れた性能を持つことが強調された。我々のデータとコードはhttps://github.com/AkaliKong/iLoRA。

要約(オリジナル)

Sequential recommendation systems predict the next interaction item based on users’ past interactions, aligning recommendations with individual preferences. Leveraging the strengths of Large Language Models (LLMs) in knowledge comprehension and reasoning, recent approaches are eager to apply LLMs to sequential recommendation. A common paradigm is converting user behavior sequences into instruction data, and fine-tuning the LLM with parameter-efficient fine-tuning (PEFT) methods like Low-Rank Adaption (LoRA). However, the uniform application of LoRA across diverse user behaviors is insufficient to capture individual variability, resulting in negative transfer between disparate sequences. To address these challenges, we propose Instance-wise LoRA (iLoRA). We innovatively treat the sequential recommendation task as a form of multi-task learning, integrating LoRA with the Mixture of Experts (MoE) framework. This approach encourages different experts to capture various aspects of user behavior. Additionally, we introduce a sequence representation guided gate function that generates customized expert participation weights for each user sequence, which allows dynamic parameter adjustment for instance-wise recommendations. In sequential recommendation, iLoRA achieves an average relative improvement of 11.4\% over basic LoRA in the hit ratio metric, with less than a 1\% relative increase in trainable parameters. Extensive experiments on three benchmark datasets demonstrate the effectiveness of iLoRA, highlighting its superior performance compared to existing methods in mitigating negative transfer and improving recommendation accuracy. Our data and code are available at https://github.com/AkaliKong/iLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL