Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling

要約

複数の計算ノードを相互接続する計算クラスターを使用して、DQN (Deep Q-Network) に基づく分散強化学習を高速化します。
分散強化学習では、アクター ノードは特定の環境と対話することで経験を獲得し、学習者ノードは DQN モデルを最適化します。
Actor ノードと Learner ノード間のデータ転送は、Actor ノードの数とそれらの経験のサイズに応じて増加するため、それらの間の通信オーバーヘッドは主要なパフォーマンスのボトルネックの 1 つです。
この論文では、それらの通信は DPDK ベースのネットワーク最適化によって高速化され、DPDK ベースの低遅延エクスペリエンス リプレイ メモリ サーバーが、40GbE (40Gbit イーサネット) ネットワークで相互接続されたアクター ノードとラーナー ノードの間にデプロイされます。
評価結果によると、ネットワーク最適化手法として、DPDK によるカーネル バイパスにより、共有メモリ サーバーへのネットワーク アクセス レイテンシが 32.7% から 58.9% 削減されます。
別のネットワーク最適化手法として、Actor ノードと Learner ノードの間のネットワーク内エクスペリエンス リプレイ メモリ サーバーは、エクスペリエンス リプレイ メモリへのアクセス レイテンシを 11.7% から 28.1% 削減し、優先エクスペリエンス サンプリングの通信レイテンシを 21.9% から 29.1% 削減します。

要約(オリジナル)

A computing cluster that interconnects multiple compute nodes is used to accelerate distributed reinforcement learning based on DQN (Deep Q-Network). In distributed reinforcement learning, Actor nodes acquire experiences by interacting with a given environment and a Learner node optimizes their DQN model. Since data transfer between Actor and Learner nodes increases depending on the number of Actor nodes and their experience size, communication overhead between them is one of major performance bottlenecks. In this paper, their communication is accelerated by DPDK-based network optimizations, and DPDK-based low-latency experience replay memory server is deployed between Actor and Learner nodes interconnected with a 40GbE (40Gbit Ethernet) network. Evaluation results show that, as a network optimization technique, kernel bypassing by DPDK reduces network access latencies to a shared memory server by 32.7% to 58.9%. As another network optimization technique, an in-network experience replay memory server between Actor and Learner nodes reduces access latencies to the experience replay memory by 11.7% to 28.1% and communication latencies for prioritized experience sampling by 21.9% to 29.1%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google