Policy Mirror Descent with Lookahead

要約

Policy Mirror Descent (PMD) は、TRPO や PPO などの最先端の強化学習 (RL) アルゴリズムとの接続を備えた、自然ポリシー勾配などのいくつかの独創的なポリシー勾配アルゴリズムを含む多用途のアルゴリズム フレームワークとして機能します。
PMD は、正規化された 1 ステップの貪欲なポリシー改善を実装するソフト ポリシー反復アルゴリズムとみなすことができます。
ただし、1 ステップの貪欲なポリシーは最良の選択ではない可能性があり、AlphaGo や AlphaZero などの RL における最近の顕著な実証的成功は、複数のステップに関する貪欲なアプローチが 1 ステップの対応策よりも優れていることを示しています。
この研究では、$h$-PMD と呼ばれる新しいクラスの PMD アルゴリズムを提案します。これは、PMD 更新ルールに先読み深さ $h$ を使用したマルチステップの貪欲なポリシー改善を組み込みます。
割引係数 $\gamma$ を使用して割引無限水平線マルコフ決定過程を解くために、標準 PMD を一般化する $h$-PMD が、計算に応じてより高速な無次元 $\gamma^h$-線形収束速度を享受できることを示します。
多段階の貪欲なポリシー。
先読みアクションの値が推定される $h$-PMD の不正確なバージョンを提案します。
生成モデルの下で、以前の研究よりも改善された $h$-PMD のサンプルの複雑さを確立します。
最後に、結果を線形関数近似に拡張して、大きな状態空間にスケールします。
適切な仮定の下では、サンプルの複雑さは状態空間サイズではなく特徴マップ空間の次元にのみ依存します。

要約(オリジナル)

Policy Mirror Descent (PMD) stands as a versatile algorithmic framework encompassing several seminal policy gradient algorithms such as natural policy gradient, with connections with state-of-the-art reinforcement learning (RL) algorithms such as TRPO and PPO. PMD can be seen as a soft Policy Iteration algorithm implementing regularized 1-step greedy policy improvement. However, 1-step greedy policies might not be the best choice and recent remarkable empirical successes in RL such as AlphaGo and AlphaZero have demonstrated that greedy approaches with respect to multiple steps outperform their 1-step counterpart. In this work, we propose a new class of PMD algorithms called $h$-PMD which incorporates multi-step greedy policy improvement with lookahead depth $h$ to the PMD update rule. To solve discounted infinite horizon Markov Decision Processes with discount factor $\gamma$, we show that $h$-PMD which generalizes the standard PMD enjoys a faster dimension-free $\gamma^h$-linear convergence rate, contingent on the computation of multi-step greedy policies. We propose an inexact version of $h$-PMD where lookahead action values are estimated. Under a generative model, we establish a sample complexity for $h$-PMD which improves over prior work. Finally, we extend our result to linear function approximation to scale to large state spaces. Under suitable assumptions, our sample complexity only involves dependence on the dimension of the feature map space instead of the state space size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google