PALR: Personalization Aware LLMs for Recommendation

要約

大規模言語モデル (LLM) は、その優れた機能により最近大きな注目を集めています。
さまざまな自然言語処理 (NLP) タスクで利用できる汎用 LLM の開発には多大な努力が払われていますが、レコメンダー システムにおける LLM の可能性を探る研究はあまり行われていません。
この論文では、ユーザーの履歴行動 (クリック、購入、評価など) を LLM と組み合わせてユーザーの好みのアイテムを生成することを目的とした、PALR という新しいフレームワークを提案します。
具体的には、まずユーザーとアイテムのインタラクションを候補検索のガイドとして使用します。
次に、LLM ベースのランキング モデルを採用して推奨アイテムを生成します。
通常、ゼロ/数ショットの推奨テストや小規模言語モデル (パラメーターが 10 億未満) でのトレーニングに汎用 LLM を採用する既存のアプローチとは異なり、LLM の推論能力を完全に引き出したり、アイテム側の豊富なパラメトリック知識を活用したりすることはできません。
では、ランキングの目的で 70 億のパラメーター LLM を微調整します。
このモデルは、自然言語形式の検索候補を入力として受け取り、推論中に入力候補から結果を選択することを明示的に要求する命令を使用します。
私たちの実験結果は、私たちのソリューションがさまざまな逐次的な推奨タスクにおいて最先端のモデルよりも優れていることを示しています。

要約(オリジナル)

Large language models (LLMs) have recently received significant attention for their exceptional capabilities. Despite extensive efforts in developing general-purpose LLMs that can be utilized in various natural language processing (NLP) tasks, there has been less research exploring their potential in recommender systems. In this paper, we propose a novel framework, named PALR, which aiming to combine user history behaviors (such as clicks, purchases, ratings, etc.) with LLMs to generate user preferred items. Specifically, we first use user/item interactions as guidance for candidate retrieval. Then we adopt a LLM-based ranking model to generate recommended items. Unlike existing approaches that typically adopt general-purpose LLMs for zero/few-shot recommendation testing or training on small-sized language models (with less than 1 billion parameters), which cannot fully elicit LLMs’ reasoning abilities and leverage rich item side parametric knowledge, we fine-tune a 7 billion parameters LLM for the ranking purpose. This model takes retrieval candidates in natural language format as input, with instruction which explicitly asking to select results from input candidates during inference. Our experimental results demonstrate that our solution outperforms state-of-the-art models on various sequential recommendation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google