EAGER-LLM: Enhancing Large Language Models as Recommenders through Exogenous Behavior-Semantic Integration

要約

大規模な言語モデル（LLM）は、高度な推奨システムの開発において基礎バックボーンとしてますます活用されており、広範な知識と推論を通じて強化された機能を提供します。
既存のLLMベースの推奨システム（RSS）は、事前に訓練されたLLMSの言語セマンティクスとRSSに不可欠な共同セマンティクスの間に大きな違いがあるため、多くの場合課題に直面しています。
これらのシステムは、事前に訓練された言語セマンティクスを使用しますが、LLM-Backboneを介してゼロから共同セマンティクスを学びます。
ただし、LLMは推奨用に設計されていないため、非効率的な共同学習、弱い結果相関、従来のRS機能の統合が不十分です。
これらの課題に対処するために、内生的および外因性の行動情報とセマンティック情報を非侵入的な方法で統合するデコーダーのみのLLMベースの生成推奨フレームワークである熱心なLLMを提案します。
具体的には、1）外因性信号のインデックス作成シーケンスを統合し、効率的なリンク全体の処理を可能にするデュアルソースの知識豊富なアイテムインデックスを提案します。
2）非侵襲的なマルチスケールアライメント再構成タスクは、共同信号とセマンティックシグナルの両方をより深く理解するためにモデルを導きます。
3）モデルの推奨パフォーマンスと理解機能のバランスをとるように設計されたアニーリングアダプター。
3つのパブリックベンチマークでの厳密なテストを通じて、熱心な有効性を実証します。

要約(オリジナル)

Large language models (LLMs) are increasingly leveraged as foundational backbones in the development of advanced recommender systems, offering enhanced capabilities through their extensive knowledge and reasoning. Existing llm-based recommender systems (RSs) often face challenges due to the significant differences between the linguistic semantics of pre-trained LLMs and the collaborative semantics essential for RSs. These systems use pre-trained linguistic semantics but learn collaborative semantics from scratch via the llm-Backbone. However, LLMs are not designed for recommendations, leading to inefficient collaborative learning, weak result correlations, and poor integration of traditional RS features. To address these challenges, we propose EAGER-LLM, a decoder-only llm-based generative recommendation framework that integrates endogenous and exogenous behavioral and semantic information in a non-intrusive manner. Specifically, we propose 1)dual-source knowledge-rich item indices that integrates indexing sequences for exogenous signals, enabling efficient link-wide processing; 2)non-invasive multiscale alignment reconstruction tasks guide the model toward a deeper understanding of both collaborative and semantic signals; 3)an annealing adapter designed to finely balance the model’s recommendation performance with its comprehension capabilities. We demonstrate EAGER-LLM’s effectiveness through rigorous testing on three public benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google