Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems

要約

強化学習ベースのレコメンダー システムのトレーニングは、動的で現実的なユーザー インタラクションの欠如によって妨げられることがよくあります。
この制限に対処するために、大規模言語モデル (LLM) を活用してシミュレートされたユーザー フィードバックを生成する新しい環境である Lusifer を紹介します。
Lusifer はユーザー プロファイルとインタラクション履歴を合成して、推奨アイテムに対する反応と行動をシミュレートします。プロファイルは評価のたびに更新され、進化するユーザー特性を反映します。
MovieLens データセットを概念実証として利用し、最近のユーザーの行動に焦点を当てるために、トレーニング セットの約 39% と 22% に相当する各ユーザーの最後の 40 回のインタラクションに実装を制限しました。
一貫性を確保し、限られたデータで従来の手法のパフォーマンスに関する洞察を得るために、同じデータ サブセットを使用してベースライン アプローチを実装しました。
私たちの結果は、さまざまなテストセットで RMSE が 1.3 のトレーニング データが削減された場合でも、Lusifer がユーザーの行動と好みを正確にエミュレートしていることを示しています。
このペーパーでは、プロンプト生成と反復的なユーザー プロファイル更新を含む Lusifer の運用パイプラインを紹介し、そのパフォーマンスをベースライン手法と比較します。
この調査結果は、Lusifer が現実的な動的なフィードバックを生成する能力を検証し、特にトレーニング データが限られている場合に、オンライン強化学習レコメンダー システムにおけるユーザー シミュレーションのためのスケーラブルで調整可能なフレームワークを将来の研究に提供することを示唆しています。

要約(オリジナル)

Training reinforcement learning-based recommender systems is often hindered by the lack of dynamic and realistic user interactions. To address this limitation, we introduce Lusifer, a novel environment leveraging Large Language Models (LLMs) to generate simulated user feedback. Lusifer synthesizes user profiles and interaction histories to simulate responses and behaviors toward recommended items, with profiles updated after each rating to reflect evolving user characteristics. Utilizing the MovieLens dataset as a proof of concept, we limited our implementation to the last 40 interactions for each user, representing approximately 39% and 22% of the training sets, to focus on recent user behavior. For consistency and to gain insights into the performance of traditional methods with limited data, we implemented baseline approaches using the same data subset. Our results demonstrate that Lusifer accurately emulates user behavior and preferences, even with reduced training data having an RMSE of 1.3 across various test sets. This paper presents Lusifer’s operational pipeline, including prompt generation and iterative user profile updates, and compares its performance against baseline methods. The findings validate Lusifer’s ability to produce realistic dynamic feedback and suggest that it offers a scalable and adjustable framework for user simulation in online reinforcement learning recommender systems for future studies, particularly when training data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google