RA-Rec: An Efficient ID Representation Alignment Framework for LLM-based Recommendation

要約

大規模言語モデル (LLM) は、さまざまな自然言語処理タスクのための強力なツールとして最近登場し、LLM と LLM ベースの RS と呼ばれるレコメンデーション システムを組み合わせる新たな急増をもたらしています。
現在のアプローチは一般に、ID 直接使用パラダイムと ID 変換パラダイムという 2 つの主要なパラダイムに分類されます。これらの中核的な弱点は、推奨事項の知識と独自性の欠如に起因していることが指摘されています。
この制限に対処するために、事前にトレーニングされた ID 埋め込みを補完的な方法で LLM に組み込む、新しいパラダイム ID 表現を提案します。
この研究では、複数の ID ベースの手法および LLM アーキテクチャと互換性のある、LLM ベースのレコメンデーションのための効率的な ID 表現調整フレームワークである RA-Rec を紹介します。
具体的には、ID 埋め込みをソフト プロンプトとして扱い、革新的なアライメント モジュールと、アライメント用に調整されたデータ構築による効率的な調整方法を設計します。
広範な実験により、RA-Rec は現在の最先端の手法を大幅に上回っており、10 倍未満のトレーニング データを利用しながら最大 3.0% の絶対 HitRate@100 の向上を達成することが実証されています。

要約(オリジナル)

Large language models (LLM) have recently emerged as a powerful tool for a variety of natural language processing tasks, bringing a new surge of combining LLM with recommendation systems, termed as LLM-based RS. Current approaches generally fall into two main paradigms, the ID direct usage paradigm and the ID translation paradigm, noting their core weakness stems from lacking recommendation knowledge and uniqueness. To address this limitation, we propose a new paradigm, ID representation, which incorporates pre-trained ID embeddings into LLMs in a complementary manner. In this work, we present RA-Rec, an efficient ID representation alignment framework for LLM-based recommendation, which is compatible with multiple ID-based methods and LLM architectures. Specifically, we treat ID embeddings as soft prompts and design an innovative alignment module and an efficient tuning method with tailored data construction for alignment. Extensive experiments demonstrate RA-Rec substantially outperforms current state-of-the-art methods, achieving up to 3.0% absolute HitRate@100 improvements while utilizing less than 10x training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google