PALR: Personalization Aware LLMs for Recommendation

要約

大規模言語モデル（LLM）は、その卓越した能力から最近大きな注目を集めている。LLMは、様々な自然言語処理（NLP）タスクに利用できる汎用的なLLMの開発に多大な努力を払ってきたが、推薦システムにおけるその可能性を探る研究はあまり行われてこなかった。本論文では、PALRと名付けた新しいフレームワークを提案する。このフレームワークは、ユーザーの履歴行動（クリック、購入、評価など）とLLMを組み合わせて、ユーザーが好むアイテムを生成することを目的としている。具体的には、まず、ユーザーとアイテムのインタラクションを検索候補のガイダンスとして利用する。次に、LLMに基づくランキングモデルを採用し、推奨アイテムを生成する。既存のアプローチは、一般的に、ゼロ/数ショットの推薦テストに汎用的なLLMを採用したり、LLMの推論能力を十分に引き出すことができず、豊富なアイテム側のパラメトリック知識を活用できない小規模言語モデル（パラメータ10億以下）のトレーニングを行うが、我々はランキング目的のために70億パラメータのLLMを細かく調整する。このモデルは、自然言語形式の検索候補を入力とし、推論時に入力候補から結果を選択するよう明示的に指示するものである。実験結果では、様々な逐次推薦タスクにおいて、本ソリューションが最先端モデルを凌駕することを実証している。

要約(オリジナル)

Large language models (LLMs) have recently received significant attention for their exceptional capabilities. Despite extensive efforts in developing general-purpose LLMs that can be utilized in various natural language processing (NLP) tasks, there has been less research exploring their potential in recommender systems. In this paper, we propose a novel framework, named PALR, which aiming to combine user history behaviors (such as clicks, purchases, ratings, etc.) with LLMs to generate user preferred items. Specifically, we first use user/item interactions as guidance for candidate retrieval. Then we adopt a LLM-based ranking model to generate recommended items. Unlike existing approaches that typically adopt general-purpose LLMs for zero/few-shot recommendation testing or training on small-sized language models (with less than 1 billion parameters), which cannot fully elicit LLMs’ reasoning abilities and leverage rich item side parametric knowledge, we fine-tune a 7 billion parameters LLM for the ranking purpose. This model takes retrieval candidates in natural language format as input, with instruction which explicitly asking to select results from input candidates during inference. Our experimental results demonstrate that our solution outperforms state-of-the-art models on various sequential recommendation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL