FedSlate:A Federated Deep Reinforcement Learning Recommender System

要約

強化学習方法は、推奨システムでの長期的なユーザーエンゲージメントを最適化するために使用されています。
ただし、既存の強化学習ベースの推奨システムは、異なるプラットフォームで個々のユーザーの動作の関連性を完全に活用していません。
潜在的な解決策の1つは、集中型の場所にあるさまざまなプラットフォームからデータを集約し、トレーニングに集約されたデータを使用することです。
ただし、このアプローチは、コミュニケーションコストの増加やユーザーのプライバシーに対する潜在的な脅威など、経済的および法的懸念を引き起こします。
これらの課題に対処するために、法的レベルで共有されることを禁止されている情報を効果的に利用するフェデレーション強化学習推奨アルゴリズムである\ textBf {fedSlate}を提案します。
SLATEQアルゴリズムを使用して、ユーザーの長期的な動作を学習し、推奨コンテンツの価値を評価することでFedSlateを支援します。
シングルユーザーのシングルプラットフォームからシングルユーザーマルチプラットフォームに既存のアプリケーション範囲を拡張し、フェデレートラーニングを導入することにより、クロスプラットフォーム学習の課題に対処します。
Recsimを使用して、FedSlateを評価するためのシミュレーション環境を構築し、そのパフォーマンスを最先端のベンチマーク推奨モデルと比較します。
実験結果は、さまざまな環境環境におけるベースラインメソッドに対するFedSlateの優れた効果を示し、FedSlateは、ベースラインメソッドが完全に適用できないシナリオで推奨戦略の学習を促進します。
コードは\ textit {https://github.com/tianyady/fedslate}で入手できます。

要約(オリジナル)

Reinforcement learning methods have been used to optimize long-term user engagement in recommendation systems. However, existing reinforcement learning-based recommendation systems do not fully exploit the relevance of individual user behavior across different platforms. One potential solution is to aggregate data from various platforms in a centralized location and use the aggregated data for training. However, this approach raises economic and legal concerns, including increased communication costs and potential threats to user privacy. To address these challenges, we propose \textbf{FedSlate}, a federated reinforcement learning recommendation algorithm that effectively utilizes information that is prohibited from being shared at a legal level. We employ the SlateQ algorithm to assist FedSlate in learning users’ long-term behavior and evaluating the value of recommended content. We extend the existing application scope of recommendation systems from single-user single-platform to single-user multi-platform and address cross-platform learning challenges by introducing federated learning. We use RecSim to construct a simulation environment for evaluating FedSlate and compare its performance with state-of-the-art benchmark recommendation models. Experimental results demonstrate the superior effects of FedSlate over baseline methods in various environmental settings, and FedSlate facilitates the learning of recommendation strategies in scenarios where baseline methods are completely inapplicable. Code is available at \textit{https://github.com/TianYaDY/FedSlate}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google