Representation Learning with Large Language Models for Recommendation

要約

レコメンダー システムは、ディープ ラーニングとグラフ ニューラル ネットワークの影響により、特に複雑なユーザーとアイテムの関係の把握において大幅な進歩を遂げています。
ただし、これらのグラフベースのレコメンダーは ID ベースのデータに大きく依存しているため、ユーザーやアイテムに関連付けられた貴重なテキスト情報が無視される可能性があり、学習された表現の情報量が少なくなります。
さらに、暗黙的なフィードバック データの利用は潜在的なノイズとバイアスをもたらし、ユーザーの好みの学習の有効性に課題をもたらします。
従来の ID ベースのレコメンダーへの大規模言語モデル (LLM) の統合が注目を集めていますが、実際のレコメンダー システムに効果的に実装するには、スケーラビリティの問題、テキストのみへの依存の制限、プロンプト入力の制約などの課題に対処する必要があります。
これらの課題に対処するために、LLM を活用した表現学習によって既存のレコメンダーを強化することを目的とした、モデルに依存しないフレームワーク RLMRec を提案します。
これは、表現学習と LLM を統合して、ユーザーの行動や好みの複雑な意味論的側面を捕捉する推奨パラダイムを提案しています。
RLMRec は補助的なテキスト信号を組み込み、LLM によって強化されたユーザー/アイテム プロファイリング パラダイムを開発し、クロスビュー調整フレームワークを通じて LLM の意味空間を協調的なリレーショナル信号の表現空間と調整します。
この研究はさらに、相互情報量の最大化を通じてテキスト信号を組み込むと表現の品質が向上することを実証する理論的基礎を確立しました。
私たちの評価では、RLMRec を最先端のレコメンダー モデルと統合し、その効率性とノイズ データに対する堅牢性も分析します。
実装コードは https://github.com/HKUDS/RLMRec で入手できます。

要約(オリジナル)

Recommender systems have seen significant advancements with the influence of deep learning and graph neural networks, particularly in capturing complex user-item relationships. However, these graph-based recommenders heavily depend on ID-based data, potentially disregarding valuable textual information associated with users and items, resulting in less informative learned representations. Moreover, the utilization of implicit feedback data introduces potential noise and bias, posing challenges for the effectiveness of user preference learning. While the integration of large language models (LLMs) into traditional ID-based recommenders has gained attention, challenges such as scalability issues, limitations in text-only reliance, and prompt input constraints need to be addressed for effective implementation in practical recommender systems. To address these challenges, we propose a model-agnostic framework RLMRec that aims to enhance existing recommenders with LLM-empowered representation learning. It proposes a recommendation paradigm that integrates representation learning with LLMs to capture intricate semantic aspects of user behaviors and preferences. RLMRec incorporates auxiliary textual signals, develops a user/item profiling paradigm empowered by LLMs, and aligns the semantic space of LLMs with the representation space of collaborative relational signals through a cross-view alignment framework. This work further establish a theoretical foundation demonstrating that incorporating textual signals through mutual information maximization enhances the quality of representations. In our evaluation, we integrate RLMRec with state-of-the-art recommender models, while also analyzing its efficiency and robustness to noise data. Our implementation codes are available at https://github.com/HKUDS/RLMRec.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google