ERL-Re$^2$: Efficient Evolutionary Reinforcement Learning with Shared State Representation and Individual Policy Representation

要約

深層強化学習 (Deep RL) と進化的アルゴリズム (EA) は、異なる学習原理 (勾配ベースと勾配ベース) を備えたポリシー最適化の 2 つの主要なパラダイムです。
勾配なし。
魅力的な研究の方向性は、Deep RL と EA を統合し、それらの相補的な利点を融合して新しい手法を考案することです。
しかし、Deep RL と EA を組み合わせた既存の取り組みには 2 つの共通の欠点があります。1) RL エージェントと EA エージェントはポリシーを個別に学習し、有用な共通知識の効率的な共有を無視します。
2) パラメータレベルのポリシー最適化は、EA 側の動作進化のセマンティック レベルを保証しません。
この論文では、前述の 2 つの欠点に対する新しい解決策である、2 スケールの状態表現とポリシー表現を使用した進化的強化学習 (ERL-Re$^2$) を提案します。
ERL-Re$^2$ の重要なアイデアは 2 スケール表現です。つまり、すべての EA ポリシーと RL ポリシーは、個々の線形ポリシー表現を維持しながら、同じ非線形状態表現を共有します。
状態表現は、すべてのエージェントが集合的に学習した環境の共通の特徴を表現的に伝えます。
線形ポリシー表現は、新しい動作レベルのクロスオーバーおよび突然変異操作を実行できる、効率的なポリシー最適化のための好ましいスペースを提供します。
さらに、線形ポリシー表現により、ポリシー拡張値関数近似器 (PeVFA) を利用してポリシーの適合性を簡単に一般化でき、適合性推定のサンプル効率がさらに向上します。
一連の連続制御タスクに関する実験では、ERL-Re$^2$ が常に高度なベースラインを上回り、最先端 (SOTA) を達成していることが示されています。
私たちのコードは https://github.com/yeshenpy/ERL-Re2 で入手できます。

要約(オリジナル)

Deep Reinforcement Learning (Deep RL) and Evolutionary Algorithms (EA) are two major paradigms of policy optimization with distinct learning principles, i.e., gradient-based v.s. gradient-free. An appealing research direction is integrating Deep RL and EA to devise new methods by fusing their complementary advantages. However, existing works on combining Deep RL and EA have two common drawbacks: 1) the RL agent and EA agents learn their policies individually, neglecting efficient sharing of useful common knowledge; 2) parameter-level policy optimization guarantees no semantic level of behavior evolution for the EA side. In this paper, we propose Evolutionary Reinforcement Learning with Two-scale State Representation and Policy Representation (ERL-Re$^2$), a novel solution to the aforementioned two drawbacks. The key idea of ERL-Re$^2$ is two-scale representation: all EA and RL policies share the same nonlinear state representation while maintaining individual} linear policy representations. The state representation conveys expressive common features of the environment learned by all the agents collectively; the linear policy representation provides a favorable space for efficient policy optimization, where novel behavior-level crossover and mutation operations can be performed. Moreover, the linear policy representation allows convenient generalization of policy fitness with the help of the Policy-extended Value Function Approximator (PeVFA), further improving the sample efficiency of fitness estimation. The experiments on a range of continuous control tasks show that ERL-Re$^2$ consistently outperforms advanced baselines and achieves the State Of The Art (SOTA). Our code is available on https://github.com/yeshenpy/ERL-Re2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google