RL4RS: A Real-World Dataset for Reinforcement Learning based Recommender System

要約

タイトル：RL4RS：強化学習ベースの推薦システムのための実世界データセット

要約：

– RLベースのレコメンダーシステムは、複数のステップの決定問題に推薦を行うことで、収集されたバッチデータから良いポリシーを学習することを目的としています。
– しかし、現在のRLベースのRS研究には、大きな現実のギャップがあります。
– この論文では、従来の研究で使用されていた人工的なデータセットや半シミュレーションRSデータセットに代わる、最初のオープンソースの実世界データセットである、RL4RSを紹介しています。
– RL4RSには、環境シミュレーションの評価、環境での評価、因果推論ポリシー評価、テストセットから構築された環境での評価などを含む新しい評価フレームワークを提案しています。
– RL4RSスイートには、2つの実世界データセット、データ理解ツール、チューニングされたシミュレーション環境、関連する高度なRLベースライン、バッチRLベースライン、因果推論ポリシー評価アルゴリズムが含まれています。
– RLベースのレコメンダーシステムだけでなく、応用強化学習の研究にも貢献することを期待しています。

要約(オリジナル)

Reinforcement learning based recommender systems (RL-based RS) aim at learning a good policy from a batch of collected data, by casting recommendations to multi-step decision-making tasks. However, current RL-based RS research commonly has a large reality gap. In this paper, we introduce the first open-source real-world dataset, RL4RS, hoping to replace the artificial datasets and semi-simulated RS datasets previous studies used due to the resource limitation of the RL-based RS domain. Unlike academic RL research, RL-based RS suffers from the difficulties of being well-validated before deployment. We attempt to propose a new systematic evaluation framework, including evaluation of environment simulation, evaluation on environments, counterfactual policy evaluation, and evaluation on environments built from test set. In summary, the RL4RS (Reinforcement Learning for Recommender Systems), a new resource with special concerns on the reality gaps, contains two real-world datasets, data understanding tools, tuned simulation environments, related advanced RL baselines, batch RL baselines, and counterfactual policy evaluation algorithms. The RL4RS suite can be found at https://github.com/fuxiAIlab/RL4RS. In addition to the RL-based recommender systems, we expect the resource to contribute to research in applied reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI