MAN: Multi-Action Networks Learning

要約

大規模な離散行動空間を使用した制御ポリシーの学習は、現在の探索の非効率性により、強化学習の分野では困難な問題です。
高次元のアクション スペースでは、ポリシーが学習される個々の次元ごとに多数の潜在的なアクションがあります。
この作業では、高次元の大きな離散アクション スペースの課題に対処するマルチ アクション ネットワーク (MAN) 学習と呼ばれる深層強化学習 (DRL) アルゴリズムを紹介します。
N 次元アクション空間をサブアクションとして知られる N 個の 1 次元コンポーネントに因数分解し、各サブアクションの値ニューラル ネットワークを作成することを提案します。
次に、MAN は時間差学習を使用してネットワークを同期的にトレーニングします。これは、大きなアクション出力を使用して単一のネットワークを直接トレーニングするよりも簡単です。
提案された方法を評価するために、n 次元迷路タスク、ブロック スタッキング タスクの 3 つのシナリオで MAN をテストし、MAN を拡張して、18 のアクション スペースを持つ Atari Arcade Learning 環境から 12 のゲームを処理します。
私たちの結果は、MANがDeep Q-LearningとDouble Deep Q-Learningの両方よりも速く学習することを示しています.

要約(オリジナル)

Learning control policies with large discrete action spaces is a challenging problem in the field of reinforcement learning due to present inefficiencies in exploration. With high dimensional action spaces, there are a large number of potential actions in each individual dimension over which policies would be learned. In this work, we introduce a Deep Reinforcement Learning (DRL) algorithm call Multi-Action Networks (MAN) Learning that addresses the challenge of high-dimensional large discrete action spaces. We propose factorizing the N-dimension action space into N 1-dimensional components, known as sub-actions, creating a Value Neural Network for each sub-action. Then, MAN uses temporal-difference learning to train the networks synchronously, which is simpler than training a single network with a large action output directly. To evaluate the proposed method, we test MAN on three scenarios: an n-dimension maze task, a block stacking task, and then extend MAN to handle 12 games from the Atari Arcade Learning environment with 18 action spaces. Our results indicate that MAN learns faster than both Deep Q-Learning and Double Deep Q-Learning, implying our method is a better performing synchronous temporal difference algorithm than those currently available for large discrete action spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google