ONCE: Boosting Content-based Recommendation with Both Open- and Closed-source Large Language Models

要約

パーソナライズされたコンテンツベースのレコメンダー システムは、ユーザーが毎日のニュース Web サイトや書籍の推奨サービスなどのプラットフォームで利用できる膨大な量のコンテンツをナビゲートするために不可欠なツールとなっています。
しかし、既存のレコメンダーは、アイテムの内容を理解する上で大きな課題に直面しています。
大規模言語モデル (LLM) は、意味論的な深い理解と事前トレーニングによる広範な知識を備えており、さまざまな自然言語処理タスクで効果的であることが証明されています。
この研究では、オープンソースとクローズドソースの LLM の両方を活用して、コンテンツベースのレコメンデーションを強化する可能性を探ります。
オープンソース LLM を使用すると、その深層をコンテンツ エンコーダとして利用し、埋め込みレベルでのコンテンツの表現を強化します。
クローズドソース LLM の場合、プロンプト手法を採用して、トークン レベルでトレーニング データを強化します。
包括的な実験を通じて、両方のタイプの LLM の高い有効性を実証し、それらの相乗関係を示します。
特に、既存の最先端のレコメンデーション モデルと比較して、最大 19.32% という大幅な相対的改善が観察されました。
これらの調査結果は、コンテンツベースのレコメンデーション システムを強化する上で、オープン ソースとクローズド ソースの LLM の両方が持つ計り知れない可能性を浮き彫りにしています。
私たちは、他の研究者が結果を再現できるように、コードと LLM で生成されたデータを利用できるようにします。

要約(オリジナル)

Personalized content-based recommender systems have become indispensable tools for users to navigate through the vast amount of content available on platforms like daily news websites and book recommendation services. However, existing recommenders face significant challenges in understanding the content of items. Large language models (LLMs), which possess deep semantic comprehension and extensive knowledge from pretraining, have proven to be effective in various natural language processing tasks. In this study, we explore the potential of leveraging both open- and closed-source LLMs to enhance content-based recommendation. With open-source LLMs, we utilize their deep layers as content encoders, enriching the representation of content at the embedding level. For closed-source LLMs, we employ prompting techniques to enrich the training data at the token level. Through comprehensive experiments, we demonstrate the high effectiveness of both types of LLMs and show the synergistic relationship between them. Notably, we observed a significant relative improvement of up to 19.32% compared to existing state-of-the-art recommendation models. These findings highlight the immense potential of both open- and closed-source of LLMs in enhancing content-based recommendation systems. We will make our code and LLM-generated data available for other researchers to reproduce our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google