Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction

要約

分散実行による集中トレーニング (CT-DE) は、多くの主要なマルチエージェント強化学習 (MARL) アルゴリズムの基盤として機能します。
人気があるにもかかわらず、特定の状態での共同動作の単一サンプルからの学習に依存しているため、重大な欠点があります。
エージェントがトレーニング中にポリシーを探索および更新すると、これらの単一サンプルはエージェントのシステムの実際の共同ポリシーをあまり表現していない可能性があり、学習を妨げる高い分散勾配推定値につながる可能性があります。
この問題に対処するために、アクタークリティカルな MARL 手法に対応する拡張ツールを提案します。
私たちのフレームワークであるパフォーマンス強化強化学習装置 (PERLA) は、エージェントのトレーニング中に、エージェントの共同ポリシーのサンプリング手法を批評家に導入します。
これにより、特定の状態での共同アクションの単一サンプルからの推定値ではなく、現在の共同ポリシーの下での真の期待値に厳密に近似する TD 更新が行われます。
これにより、分散が低く、期待リターンの正確な推定値が生成され、通常学習の妨げとなる批判的推定量の分散が最小限に抑えられます。
さらに、私たちが実証しているように、PERLA は、共同ポリシーの 1 つのサンプリングからクリティカルの分散の多くを排除することで、エージェントの数に応じて CT-DE 手法をより効率的に拡張できるようにします。
理論的には、PERLA は集中型トレーニングの利点を維持しながら、分散型トレーニングと同様に値の推定値のばらつきを低減することを証明します。
経験的に、マルチエージェント Mujoco や StarCraft II マルチエージェント チャレンジを含むさまざまなベンチマークにおいて、PERLA の優れたパフォーマンスと推定値の分散を削減する能力を実証しています。

要約(オリジナル)

Centralised training with decentralised execution (CT-DE) serves as the foundation of many leading multi-agent reinforcement learning (MARL) algorithms. Despite its popularity, it suffers from a critical drawback due to its reliance on learning from a single sample of the joint-action at a given state. As agents explore and update their policies during training, these single samples may poorly represent the actual joint-policy of the system of agents leading to high variance gradient estimates that hinder learning. To address this problem, we propose an enhancement tool that accommodates any actor-critic MARL method. Our framework, Performance Enhancing Reinforcement Learning Apparatus (PERLA), introduces a sampling technique of the agents’ joint-policy into the critics while the agents train. This leads to TD updates that closely approximate the true expected value under the current joint-policy rather than estimates from a single sample of the joint-action at a given state. This produces low variance and precise estimates of expected returns, minimising the variance in the critic estimators which typically hinders learning. Moreover, as we demonstrate, by eliminating much of the critic variance from the single sampling of the joint policy, PERLA enables CT-DE methods to scale more efficiently with the number of agents. Theoretically, we prove that PERLA reduces variance in value estimates similar to that of decentralised training while maintaining the benefits of centralised training. Empirically, we demonstrate PERLA’s superior performance and ability to reduce estimator variance in a range of benchmarks including Multi-agent Mujoco, and StarCraft II Multi-agent Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google