LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation

要約

逐次レコメンダーシステム(SRS)は、過去の相互作用に基づいてユーザーのその後の選択を予測することを目的としており、電子商取引やソーシャルメディアなど様々な分野で応用されている。しかし、実世界のシステムでは、ほとんどのユーザはほんの一握りのアイテムとしかやりとりせず、大多数のアイテムはめったに消費されない。ロングテールユーザーとロングテールアイテムの課題として知られるこの2つの問題は、しばしば既存のSRSに困難をもたらす。これらの課題は、ユーザーエクスペリエンスや販売者の利益に悪影響を及ぼす可能性があり、対処することが極めて重要である。いくつかの研究がこの課題に取り組んでいるものの、それらは依然として、本質的に希少なインタラクションのため、シーソー問題やノイジー問題に苦戦している。大規模言語モデル（LLM）の進歩は、意味論的観点からこれらの問題に対する有望な解決策を提示している。この分野の先駆者の一人として、我々は逐次推薦のための大規模言語モデル拡張フレームワーク（LLM-ESR）を提案する。このフレームワークは、LLMから得られる意味的埋め込みを利用し、LLMによる余分な推論負荷を追加することなくSRSを強化する。ロングテールアイテムの課題に対処するために、LLMからのセマンティクスと従来のSRSからの協調シグナルを組み合わせたデュアルビューモデリングフレームワークを設計する。ロングテールユーザの課題に対しては、類似ユーザからのより有益なインタラクションを用いてユーザの嗜好表現を強化する検索拡張自己蒸留法を提案する。提案する拡張フレームワークの有効性と汎用性を検証するために、3つの一般的なSRSモデルを用いて、3つの実世界データセットで広範な実験を行った。その結果、我々の手法は一貫して既存のベースラインを凌駕し、特にロングテールのユーザーとアイテムに恩恵をもたらすことが示された。実装コードはhttps://github.com/Applied-Machine-Learning-Lab/LLM-ESR。

要約(オリジナル)

Sequential recommender systems (SRS) aim to predict users’ subsequent choices based on their historical interactions and have found applications in diverse fields such as e-commerce and social media. However, in real-world systems, most users interact with only a handful of items, while the majority of items are seldom consumed. These two issues, known as the long-tail user and long-tail item challenges, often pose difficulties for existing SRS. These challenges can adversely affect user experience and seller benefits, making them crucial to address. Though a few works have addressed the challenges, they still struggle with the seesaw or noisy issues due to the intrinsic scarcity of interactions. The advancements in large language models (LLMs) present a promising solution to these problems from a semantic perspective. As one of the pioneers in this field, we propose the Large Language Models Enhancement framework for Sequential Recommendation (LLM-ESR). This framework utilizes semantic embeddings derived from LLMs to enhance SRS without adding extra inference load from LLMs. To address the long-tail item challenge, we design a dual-view modeling framework that combines semantics from LLMs and collaborative signals from conventional SRS. For the long-tail user challenge, we propose a retrieval augmented self-distillation method to enhance user preference representation using more informative interactions from similar users. To verify the effectiveness and versatility of our proposed enhancement framework, we conduct extensive experiments on three real-world datasets using three popular SRS models. The results show that our method surpasses existing baselines consistently, and benefits long-tail users and items especially. The implementation code is available at https://github.com/Applied-Machine-Learning-Lab/LLM-ESR.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL