Beyond Retrieval: Generating Narratives in Conversational Recommender Systems

要約

大規模言語モデルの生成および推論機能の最近の進歩により、真の会話型レコメンデーション システムを開発する機会が提供されています。
ただし、推奨タスクに合わせて調整された自然言語生成のために、レコメンダー システムの知識を LLM に効果的に統合することは依然として課題です。
この文書は、2 つの重要な貢献を行うことでこの課題に対処します。
まず、会話型レコメンデーションにおける自然言語生成タスク用の新しいデータセット (REGEN) を導入します。
REGEN (Reviews Enhanced with GENerative Narratives) は、製品の好みのパーソナライズされた説明、推奨アイテムの製品推奨、ユーザーの購入履歴の概要など、豊富なユーザーのナラティブで Amazon 製品レビュー データセットを拡張します。
REGEN は、さらなる研究を促進するために一般に公開されています。
さらに、よく知られている生成メトリクスを使用してベンチマークを確立し、評価者 LLM を使用して新しいデータセットの自動評価を実行します。
次に、この論文では、REGEN のベースラインとして機能する融合アーキテクチャ (LLM を使用した CF モデル) を紹介します。
私たちの知る限り、これは、推奨シグナルを理解し、豊かな物語を生成する LLM の機能を分析する最初の試みです。
我々は、LLM がインタラクションベースの CF 埋め込みを利用した単純な融合アーキテクチャから効果的に学習できることを実証します。これは、アイテムに関連付けられたメタデータとパーソナライゼーション データを使用してさらに強化できます。
私たちの実験では、CF とコンテンツの埋め込みを組み合わせると、どちらかのタイプの埋め込みを個別に使用した場合と比較して、主要言語メトリクスが 4 ～ 12% 向上することがわかりました。
また、CF とコンテンツの埋め込みがこの新しい生成タスクにどのように寄与しているかを解釈する分析も提供します。

要約(オリジナル)

The recent advances in Large Language Model’s generation and reasoning capabilities present an opportunity to develop truly conversational recommendation systems. However, effectively integrating recommender system knowledge into LLMs for natural language generation which is tailored towards recommendation tasks remains a challenge. This paper addresses this challenge by making two key contributions. First, we introduce a new dataset (REGEN) for natural language generation tasks in conversational recommendations. REGEN (Reviews Enhanced with GEnerative Narratives) extends the Amazon Product Reviews dataset with rich user narratives, including personalized explanations of product preferences, product endorsements for recommended items, and summaries of user purchase history. REGEN is made publicly available to facilitate further research. Furthermore, we establish benchmarks using well-known generative metrics, and perform an automated evaluation of the new dataset using a rater LLM. Second, the paper introduces a fusion architecture (CF model with an LLM) which serves as a baseline for REGEN. And to the best of our knowledge, represents the first attempt to analyze the capabilities of LLMs in understanding recommender signals and generating rich narratives. We demonstrate that LLMs can effectively learn from simple fusion architectures utilizing interaction-based CF embeddings, and this can be further enhanced using the metadata and personalization data associated with items. Our experiments show that combining CF and content embeddings leads to improvements of 4-12% in key language metrics compared to using either type of embedding individually. We also provide an analysis to interpret how CF and content embeddings contribute to this new generative task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google