Deep Metric Tensor Regularized Policy Gradient

要約

ポリシー勾配アルゴリズムは、深層強化学習技術の重要なファミリーです。
過去の研究の多くは、一次ポリシー勾配情報を使用してポリシー ネットワークをトレーニングすることに焦点を当てていました。
これらの研究とは異なり、この論文では、ポリシー勾配に関連するヘッセ行列情報を適切に利用および制御することで、ポリシー勾配アルゴリズムのパフォーマンスを著しく向上できるという信念に基づいて研究を行っています。
私たちの注目を集めた重要なヘッシアン情報の 1 つは、ユークリッド ポリシー パラメトリック空間におけるポリシー勾配ベクトル場の発散を与えるヘシアン トレースです。
パラメトリック空間に計量テンソル場 $g_ab$ を導入することで、このユークリッド政策パラメトリック空間を一般リーマン多様体に一般化するという目標を設定しました。
これは、新しく開発された数学ツール、深層学習アルゴリズム、計量テンソル ディープ ニューラル ネットワーク (DNN) によって実現されます。
これらの技術開発を武器に、重要な正則化メカニズムとしてリーマン多様体の絶対発散を最小化することを学習し、リーマン多様体がその政策勾配ベクトル場を滑らかにすることを可能にする新しい政策勾配アルゴリズムを提案します。
新しく開発されたアルゴリズムは、いくつかのベンチマーク強化学習問題に関して実験的に研究されています。
私たちの実験は、新しい計量テンソル正則化アルゴリズムが、正則化手法を使用しないアルゴリズムよりも大幅に優れたパフォーマンスを発揮できることを明確に示しています。
追加の実験解析は、訓練された計量テンソル DNN と対応する計量テンソル $g_{ab}$ が、リーマン多様体におけるゼロに向かう絶対発散を効果的に低減できることをさらに示唆しています。

要約(オリジナル)

Policy gradient algorithms are an important family of deep reinforcement learning techniques. Many past research endeavors focused on using the first-order policy gradient information to train policy networks. Different from these works, we conduct research in this paper driven by the believe that properly utilizing and controlling Hessian information associated with the policy gradient can noticeably improve the performance of policy gradient algorithms. One key Hessian information that attracted our attention is the Hessian trace, which gives the divergence of the policy gradient vector field in the Euclidean policy parametric space. We set the goal to generalize this Euclidean policy parametric space into a general Riemmanian manifold by introducing a metric tensor field $g_ab$ in the parametric space. This is achieved through newly developed mathematical tools, deep learning algorithms, and metric tensor deep neural networks (DNNs). Armed with these technical developments, we propose a new policy gradient algorithm that learns to minimize the absolute divergence in the Riemannian manifold as an important regularization mechanism, allowing the Riemannian manifold to smoothen its policy gradient vector field. The newly developed algorithm is experimentally studied on several benchmark reinforcement learning problems. Our experiments clearly show that the new metric tensor regularized algorithm can significantly outperform its counterpart that does not use our regularization technique. Additional experimental analysis further suggests that the trained metric tensor DNN and the corresponding metric tensor $g_{ab}$ can effectively reduce the absolute divergence towards zero in the Riemannian manifold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google