How to Index Item IDs for Recommendation Foundation Models

要約

レコメンデーション基盤モデルは、レコメンデーション タスクを自然言語タスクに変換することにより、レコメンデーションに大規模言語モデル (LLM) を利用します。
従来のレコメンデーション モデルのように候補アイテムごとにランキング スコアを計算するのではなく、レコメンドするアイテムを直接生成する生成レコメンデーションが可能になり、レコメンデーション パイプラインが多段階フィルタリングから単一段階フィルタリングに簡素化されます。
どのアイテムを推奨するかを決定する際に、過度に長いテキストや幻覚的な推奨事項が生成されるのを避けるために、各アイテムを一意に識別する LLM 互換のアイテム ID を作成することが、推奨基盤モデルにとって不可欠です。
この研究では、バックボーン LLM の例として P5 を使用して、推奨基盤モデルのアイテム ID の作成とインデックス付けの問題を系統的に検証します。
アイテムのインデックス付けの重要性を強調するために、最初に、ランダムなインデックス付け、タイトルのインデックス付け、独立したインデックス付けなど、いくつかの簡単なアイテムのインデックス付け方法の問題について説明します。
次に、順次インデックス作成、協調インデックス作成、セマンティック (コンテンツベース) インデックス作成、ハイブリッド インデックス作成を含む 4 つのシンプルかつ効果的なソリューションを提案します。
私たちの調査では、アイテムのインデックス付け方法が LLM ベースのレコメンデーションのパフォーマンスに大きな影響を与えることが強調されており、実世界のデータセットに関する結果は、提案したソリューションの有効性を検証しています。
この研究はまた、言語モデリングに関する最近の進歩と、インデックス作成などの従来の IR 原則が、学習と推論を改善するためにどのように相互に役立つかを示しています。
ソース コードとデータは https://github.com/Wenyueh/LLM-RecSys-ID で入手できます。

要約(オリジナル)

Recommendation foundation model utilizes large language models (LLM) for recommendation by converting recommendation tasks into natural language tasks. It enables generative recommendation which directly generates the item(s) to recommend rather than calculating a ranking score for each and every candidate item as in traditional recommendation models, simplifying the recommendation pipeline from multi-stage filtering to single-stage filtering. To avoid generating excessively long text and hallucinated recommendations when deciding which item(s) to recommend, creating LLM-compatible item IDs to uniquely identify each item is essential for recommendation foundation models. In this study, we systematically examine the item ID creation and indexing problem for recommendation foundation models, using P5 as an example of the backbone LLM. To emphasize the importance of item indexing, we first discuss the issues of several trivial item indexing methods, such as random indexing, title indexing, and independent indexing. We then propose four simple yet effective solutions, including sequential indexing, collaborative indexing, semantic (content-based) indexing, and hybrid indexing. Our study highlights the significant influence of item indexing methods on the performance of LLM-based recommendation, and our results on real-world datasets validate the effectiveness of our proposed solutions. The research also demonstrates how recent advances on language modeling and traditional IR principles such as indexing can help each other for better learning and inference. Source code and data are available at https://github.com/Wenyueh/LLM-RecSys-ID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google