Application of linear regression and quasi-Newton methods to the deep reinforcement learning in continuous action cases

要約

線形回帰（LR）メソッドは、最適なパラメーターを比較的簡単に計算できるという利点を提供しますが、その表現能力は深い学習手法よりも制限されています。
深い補強学習を改善するために、Levine et al。によって最小二乗ディープQネットワーク（LS-DQN）メソッドが提案されました。これは、ディープQネットワーク（DQN）とLRメソッドを組み合わせています。
ただし、LS-DQNメソッドは、アクションが個別であると想定しています。
この研究では、この制限に対処するために、二重最小二乗深い決定論的ポリシー勾配（DLS-DDPG）メソッドを提案します。
この方法では、LRメソッドと、継続的なアクションケースの代表的なディープ補強学習アルゴリズムの1つであるディープ決定論的ポリシーグラデーション（DDPG）手法を組み合わせています。
批評家ネットワークのLR更新では、DLS-DDPGは、LS-DQNが採用した方法であるフィットQイテレーションと同様のアルゴリズムを使用します。
さらに、Quasi-Newtonメソッドを使用して最適なアクションを計算し、Actor NetworkのLRアップデートのエージェントのアクションとトレーニングデータの両方として使用しました。
Mujoco環境で行われた数値実験は、少なくとも一部のタスクでは、提案された方法が少なくとも一部のタスクでパフォーマンスを改善することを示しましたが、正規化用語を小さくすることができないなどの困難があります。

要約(オリジナル)

The linear regression (LR) method offers the advantage that optimal parameters can be calculated relatively easily, although its representation capability is limited than that of the deep learning technique. To improve deep reinforcement learning, the Least Squares Deep Q Network (LS-DQN) method was proposed by Levine et al., which combines Deep Q Network (DQN) with LR method. However, the LS-DQN method assumes that the actions are discrete. In this study, we propose the Double Least Squares Deep Deterministic Policy Gradient (DLS-DDPG) method to address this limitation. This method combines the LR method with the Deep Deterministic Policy Gradient (DDPG) technique, one of the representative deep reinforcement learning algorithms for continuous action cases. For the LR update of the critic network, DLS-DDPG uses an algorithm similar to the Fitted Q iteration, the method which LS-DQN adopted. In addition, we calculated the optimal action using the quasi-Newton method and used it as both the agent’s action and the training data for the LR update of the actor network. Numerical experiments conducted in MuJoCo environments showed that the proposed method improved performance at least in some tasks, although there are difficulties such as the inability to make the regularization terms small.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google