Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach

要約

過去数十年間、推薦システムは研究および産業界で大きな注目を集めており、効果的な推薦モデルの開発に多くの研究が費やされてきた。基本的に、これらのモデルは、過去の行動データからユーザーの嗜好を学習し、ユーザーとアイテムのマッチング関係を推定して推薦するものである。我々は、近年の大規模言語モデル（LLM）の進歩に触発され、推薦をLLMの指示に従うものと考え、推薦モデルの開発に対して異なるアプローチをとる。これは、ユーザーの好みやニーズを自然言語記述（命令と呼ぶ）で表現することで、LLMがその命令を理解し、さらに実行することで推薦タスクを遂行できるようにするというものである。我々は、LLMの公開APIを使用する代わりに、オープンソースのLLM（3B Flan-T5-XL）をチューニングし、LLMを推薦システムに適合させることを目的とする。そのために、まず、ユーザの嗜好、意図、タスクの形態、文脈を自然言語で記述するための一般的な指示フォーマットを設計する。そして、39種類の命令テンプレートを手動で設計し、様々なタイプの嗜好や意図を持つユーザー個人に合わせた大量の命令データ（252K命令）を自動生成する。本アプローチの有効性を示すため、広く研究されているいくつかの推薦（または検索）タスクに指示テンプレートをインスタンス化し、実世界のデータセットを用いてこれらのタスクに関する大規模な実験を行った。実験の結果、提案アプローチは、これらの評価タスクにおいて、強力なGPT-3.5を含むいくつかの競合ベースラインを凌駕することが示された。本アプローチは、自然言語による指示によって、ユーザーが自由にシステムとコミュニケーションし、より正確な推奨を得ることができる、よりユーザーフレンドリーな推奨システムの開発に光を与えるものである。

要約(オリジナル)

In the past decades, recommender systems have attracted much attention in both research and industry communities, and a large number of studies have been devoted to developing effective recommendation models. Basically speaking, these models mainly learn the underlying user preference from historical behavior data, and then estimate the user-item matching relationships for recommendations. Inspired by the recent progress on large language models (LLMs), we take a different approach to developing the recommendation models, considering recommendation as instruction following by LLMs. The key idea is that the preferences or needs of a user can be expressed in natural language descriptions (called instructions), so that LLMs can understand and further execute the instruction for fulfilling the recommendation task. Instead of using public APIs of LLMs, we instruction tune an open-source LLM (3B Flan-T5-XL), in order to better adapt LLMs to recommender systems. For this purpose, we first design a general instruction format for describing the preference, intention, task form and context of a user in natural language. Then we manually design 39 instruction templates and automatically generate a large amount of user-personalized instruction data (252K instructions) with varying types of preferences and intentions. To demonstrate the effectiveness of our approach, we instantiate the instruction templates into several widely-studied recommendation (or search) tasks, and conduct extensive experiments on these tasks with real-world datasets. Experiment results show that the proposed approach can outperform several competitive baselines, including the powerful GPT-3.5, on these evaluation tasks. Our approach sheds light on developing more user-friendly recommender systems, in which users can freely communicate with the system and obtain more accurate recommendations via natural language instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL