On the Opportunities and Challenges of Offline Reinforcement Learning for Recommender Systems

要約

強化学習は、レコメンダー システム内で動的なユーザーの関心をモデル化するための強力なツールとして機能し、最近研究の注目を集めています。
ただし、インタラクティブな性質からデータ効率が低いという重大な欠点が残ります。
強化学習ベースのレコメンダー システムのトレーニングには、エージェントがユーザーの好みを学習するために不可欠な適切な軌道を蓄積するための、高価なオンライン インタラクションが必要です。
この非効率性により、強化学習ベースのレコメンダー システムは困難な作業となり、潜在的な解決策の探索が必要になります。
オフライン強化学習における最近の進歩は、新たな視点をもたらしています。
オフライン強化学習により、エージェントはオフライン データセットから洞察を収集し、学習したポリシーをオンライン設定に展開できるようになります。
レコメンダー システムが広範なオフライン データセットを所有していることを考慮すると、オフライン強化学習のフレームワークはシームレスに調整されます。
急成長している分野であるにもかかわらず、オフライン強化学習を利用したレコメンダーシステムを中心とした取り組みは依然として限られています。
この調査は、レコメンダー システム内でのオフライン強化学習を紹介および掘り下げ、この分野の既存の文献の包括的なレビューを提供することを目的としています。
さらに、私たちは、この進化する分野で研究を推進する準備ができている、蔓延する課題、機会、将来の道筋を強調するよう努めています。

要約(オリジナル)

Reinforcement learning serves as a potent tool for modeling dynamic user interests within recommender systems, garnering increasing research attention of late. However, a significant drawback persists: its poor data efficiency, stemming from its interactive nature. The training of reinforcement learning-based recommender systems demands expensive online interactions to amass adequate trajectories, essential for agents to learn user preferences. This inefficiency renders reinforcement learning-based recommender systems a formidable undertaking, necessitating the exploration of potential solutions. Recent strides in offline reinforcement learning present a new perspective. Offline reinforcement learning empowers agents to glean insights from offline datasets and deploy learned policies in online settings. Given that recommender systems possess extensive offline datasets, the framework of offline reinforcement learning aligns seamlessly. Despite being a burgeoning field, works centered on recommender systems utilizing offline reinforcement learning remain limited. This survey aims to introduce and delve into offline reinforcement learning within recommender systems, offering an inclusive review of existing literature in this domain. Furthermore, we strive to underscore prevalent challenges, opportunities, and future pathways, poised to propel research in this evolving field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google