Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey

要約

深層強化学習は、ここ数年、人工知能の分野に劇的な進歩をもたらしました。
ロールアウト エクスペリエンス データの量と深層強化学習用のニューラル ネットワークのサイズが継続的に増加するにつれ、並列分散コンピューティングを使用してトレーニング プロセスを処理し、消費時間を削減することが緊急かつ不可欠な要望となっています。
この論文では、並列分散コンピューティングに基づく深層強化学習のトレーニング高速化方法論について広範かつ徹底的な調査を実行し、最先端の方法と中心となる参考文献への指針を含むこの分野の包括的な調査を提供します。
特に、文献の分類が、新たなトピックや未解決の問題についての議論とともに提供されます。
これには、学習システム アーキテクチャ、シミュレーション並列処理、コンピューティング並列処理、分散同期メカニズム、および深層進化強化学習が組み込まれています。
さらに、現在の 16 のオープンソース ライブラリとプラットフォームを、迅速な開発を促進する基準に基づいて比較します。
最後に、さらなる研究に値する将来の方向性を推定します。

要約(オリジナル)

Deep reinforcement learning has led to dramatic breakthroughs in the field of artificial intelligence for the past few years. As the amount of rollout experience data and the size of neural networks for deep reinforcement learning have grown continuously, handling the training process and reducing the time consumption using parallel and distributed computing is becoming an urgent and essential desire. In this paper, we perform a broad and thorough investigation on training acceleration methodologies for deep reinforcement learning based on parallel and distributed computing, providing a comprehensive survey in this field with state-of-the-art methods and pointers to core references. In particular, a taxonomy of literature is provided, along with a discussion of emerging topics and open issues. This incorporates learning system architectures, simulation parallelism, computing parallelism, distributed synchronization mechanisms, and deep evolutionary reinforcement learning. Further, we compare 16 current open-source libraries and platforms with criteria of facilitating rapid development. Finally, we extrapolate future directions that deserve further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google