Large Language Models are Zero-Shot Rankers for Recommender Systems

要約

最近、大規模言語モデル (LLM) (GPT-4 など) は、推奨タスクにアプローチする可能性を含む、優れた汎用タスク解決能力を実証しました。
この研究の流れに沿って、この研究は、レコメンダー システムのランキング モデルとして機能する LLM の能力を調査することを目的としています。
実証研究を行うために、まず、逐次インタラクション履歴を条件とし、候補生成モデルによって取得されたアイテムを候補として、推奨問題を条件付きランキングタスクとして形式化します。
私たちは、LLM によるランキング タスクを解決するために、特定のプロンプト アプローチを採用しています。つまり、逐次インタラクション履歴、候補アイテム、およびランキング指示を含めることにより、プロンプト テンプレートを慎重に設計します。
私たちは、レコメンダー システムで広く使用されている 2 つのデータセットに対して広範な実験を実施し、レコメンダー システムでの LLM の使用に関するいくつかの重要な発見を導き出しました。
我々は、LLM が、複数の候補ジェネレータによって取得された候補に関して従来の推奨モデルと同等かそれ以上の、有望なゼロショット ランキング能力を備えていることを示します。
また、LLM は歴史的な相互作用の順序を認識するのに苦労し、位置バイアスなどのバイアスの影響を受ける可能性がある一方で、これらの問題は特別に設計されたプロンプトおよびブートストラップ戦略によって軽減できることも示します。
この作品を再現するコードは https://github.com/RUCAIBox/LLMRank で入手できます。

要約(オリジナル)

Recently, large language models (LLMs) (e.g. GPT-4) have demonstrated impressive general-purpose task-solving abilities, including the potential to approach recommendation tasks. Along this line of research, this work aims to investigate the capacity of LLMs that act as the ranking model for recommender systems. To conduct our empirical study, we first formalize the recommendation problem as a conditional ranking task, considering sequential interaction histories as conditions and the items retrieved by the candidate generation model as candidates. We adopt a specific prompting approach to solving the ranking task by LLMs: we carefully design the prompting template by including the sequential interaction history, the candidate items, and the ranking instruction. We conduct extensive experiments on two widely-used datasets for recommender systems and derive several key findings for the use of LLMs in recommender systems. We show that LLMs have promising zero-shot ranking abilities, even competitive to or better than conventional recommendation models on candidates retrieved by multiple candidate generators. We also demonstrate that LLMs struggle to perceive the order of historical interactions and can be affected by biases like position bias, while these issues can be alleviated via specially designed prompting and bootstrapping strategies. The code to reproduce this work is available at https://github.com/RUCAIBox/LLMRank.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google