On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation

要約

強化学習の一般的な手法は、与えられたポリシーのモンテカルロ シミュレーションから価値関数を評価し、推定値関数を使用して、推定値関数に関して貪欲な新しいポリシーを取得することです。
この文脈で長年にわたってよく知られている未解決の問題は、政策の価値関数が、政策の実装から得られた単一のサンプル パスから収集されたデータから推定される場合に、そのような方式の収束を証明することです ([Sutton and Barto の 99 ページを参照)。
、2018]、[Tsitsiklis、2002] の 8 ページ）。
ポリシー改善ステップが先読みを使用する場合、このようなポリシー反復スキームの最初の訪問バージョンが実際に最適なポリシーに収束することを示すことにより、未解決の問題の解決策を提示します [Silver et al., 2016, Mnih et al., 2016
, Silver et al., 2017b] 単純な貪欲な政策の改善ではありません。
表形式の設定で元の未解決問題の結果を提供し、関数近似設定の拡張も示します。ここでは、アルゴリズムから生じるポリシーが、関数近似エラー内で最適ポリシーに近いパフォーマンスを発揮することを示します。

要約(オリジナル)

A common technique in reinforcement learning is to evaluate the value function from Monte Carlo simulations of a given policy, and use the estimated value function to obtain a new policy which is greedy with respect to the estimated value function. A well-known longstanding open problem in this context is to prove the convergence of such a scheme when the value function of a policy is estimated from data collected from a single sample path obtained from implementing the policy (see page 99 of [Sutton and Barto, 2018], page 8 of [Tsitsiklis, 2002]). We present a solution to the open problem by showing that a first-visit version of such a policy iteration scheme indeed converges to the optimal policy provided that the policy improvement step uses lookahead [Silver et al., 2016, Mnih et al., 2016, Silver et al., 2017b] rather than a simple greedy policy improvement. We provide results both for the original open problem in the tabular setting and also present extensions to the function approximation setting, where we show that the policy resulting from the algorithm performs close to the optimal policy within a function approximation error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google