The Ladder in Chaos: A Simple and Effective Improvement to General DRL Algorithms by Policy Path Trimming and Boosting

要約

ポリシーの学習ダイナミクスを知ることは、強化学習 (RL) の謎を解き明かす上で重要です。
これは、サンプルの非効率性や学習の不安定性などの悪名高い問題に対する救済策を得ることができる Deep RL にとって特に重要ですが、挑戦的です。
この論文では、典型的なDRLエージェントのポリシーネットワークが学習プロセス中にどのように進化するかを、各ポリシーパラメーターのいくつかの種類の時間的変化を経験的に調査することによって研究します。
典型的な MuJoCo および DeepMind Control Suite (DMC) ベンチマークでは、TD3 および RAD エージェントに共通の現象が見られます。
2) パラメーターの更新で深刻な迂回路が発生し、マイナーなパラメーターのすべての方向で高調波のような変化が観察されます。
ポリシー学習パスに沿って新しい時間的 SVD を実行することにより、メジャーおよびマイナー パラメーターの方向は、それぞれ支配的および重要でない特異値に関連付けられた正しいユニタリ行列の列として識別されます。
上記の発見に基づいて、DRL アルゴリズムの一般的なプラグイン改善として、ポリシー パス トリミング アンド ブースティング (PPTB) と呼ばれるシンプルで効果的な方法を提案します。
PPTB の重要なアイデアは、主要な方向への進行を促進することで学習パスを後押ししながら、マイナーなパラメーター方向でのポリシーの更新をキャンセルすることにより、ポリシー学習パスを定期的にトリムすることです。
実験では、MuJoCo および DMC 環境でそれぞれ TD3 および RAD と組み合わせた場合に、PPTB によってもたらされる一般的かつ大幅なパフォーマンスの向上を示します。

要約(オリジナル)

Knowing the learning dynamics of policy is significant to unveiling the mysteries of Reinforcement Learning (RL). It is especially crucial yet challenging to Deep RL, from which the remedies to notorious issues like sample inefficiency and learning instability could be obtained. In this paper, we study how the policy networks of typical DRL agents evolve during the learning process by empirically investigating several kinds of temporal change for each policy parameter. On typical MuJoCo and DeepMind Control Suite (DMC) benchmarks, we find common phenomena for TD3 and RAD agents: 1) the activity of policy network parameters is highly asymmetric and policy networks advance monotonically along very few major parameter directions; 2) severe detours occur in parameter update and harmonic-like changes are observed for all minor parameter directions. By performing a novel temporal SVD along policy learning path, the major and minor parameter directions are identified as the columns of right unitary matrix associated with dominant and insignificant singular values respectively. Driven by the discoveries above, we propose a simple and effective method, called Policy Path Trimming and Boosting (PPTB), as a general plug-in improvement to DRL algorithms. The key idea of PPTB is to periodically trim the policy learning path by canceling the policy updates in minor parameter directions, while boost the learning path by encouraging the advance in major directions. In experiments, we demonstrate the general and significant performance improvements brought by PPTB, when combined with TD3 and RAD in MuJoCo and DMC environments respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google