Federated Ensemble-Directed Offline Reinforcement Learning

要約

タイトル：Federated Ensemble-Directed Offline Reinforcement Learning

要約：
– Federated Offline Reinforcement Learningの問題を考える。
– 複数のエージェントは、異なる未知の振る舞いポリシーに従って生成された小さな事前収集データセットのみを使用して、質の高いコントロールポリシーを共同学習する必要がある。
– 標準のオフラインRLアプローチと標準のフェデレーテッド学習アプローチを単純に組み合わせると、ポリシーのパフォーマンスが低下する可能性がある。
– この問題に対処するために、Federated Ensemble-Directed Offline Reinforcement Learning Algorithm (FEDORA) を開発した。
– FEDORAは、アンサンブル学習アプローチを使用して、クライアントの集合知を抽出する。
– FEDORAコードベースは、フェデレーテッド学習プラットフォーム上の分散コンピューティングリソースを利用するように開発されている。
– FEDORAは、複数の複雑な継続的な制御環境や実世界のデータセットで、オフラインRLの組み合わせデータプールよりも優れたパフォーマンスを発揮することを示した。
– 最後に、FEDORAの実世界での性能を、モバイルロボットでデモンストレーションした。

要約(オリジナル)

We consider the problem of federated offline reinforcement learning (RL), a scenario under which distributed learning agents must collaboratively learn a high-quality control policy only using small pre-collected datasets generated according to different unknown behavior policies. Naively combining a standard offline RL approach with a standard federated learning approach to solve this problem can lead to poorly performing policies. In response, we develop the Federated Ensemble-Directed Offline Reinforcement Learning Algorithm (FEDORA), which distills the collective wisdom of the clients using an ensemble learning approach. We develop the FEDORA codebase to utilize distributed compute resources on a federated learning platform. We show that FEDORA significantly outperforms other approaches, including offline RL over the combined data pool, in various complex continuous control environments and real world datasets. Finally, we demonstrate the performance of FEDORA in the real-world on a mobile robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI