Two-Timescale Critic-Actor for Average Reward MDPs with Function Approximation

要約

最近の研究のいくつかは、AC アルゴリズムの非漸近収束解析の実行に焦点を当てています。
最近、アクターと批評家のタイムスケールが逆転し、漸近収束のみが示されるルックアップ テーブルの場合の割引コスト設定用に、2 つのタイムスケールの批評家-俳優アルゴリズムが提示されました。
私たちの研究では、長期平均報酬設定における関数近似を備えた最初の 2 タイムスケール クリティカル アクター アルゴリズムを提示し、そのようなスキームに対する最初の有限時間非漸近収束解析および漸近収束解析を提示します。
最適な学習率を取得し、$\delta >0$ が任意に近い場合に、アルゴリズムが {$\mathcal{\tilde{O}}(\epsilon^{-(2+\delta)})$ のサンプル複雑さを達成することを証明します。
$\epsilon$ によって上限が制限される批評家の平均二乗誤差は、同様の設定で 2 つのタイムスケール AC で得られる誤差よりも優れています。
私たちの分析の注目すべき特徴は、得られた有限時間限界に加えて、スキームの漸近収束分析を提示し、関連する微分包含のアトラクターへの (遅い) クリティカル再帰のほぼ確実な漸近収束を示すことです。
摂動された平均報酬目標の極大値に対応するアクター パラメーターを使用します。
また、3 つのベンチマーク設定での数値実験の結果も示し、クリティカル アクター アルゴリズムがすべてのアルゴリズムの中で最高のパフォーマンスを発揮することを観察しました。

要約(オリジナル)

Several recent works have focused on carrying out non-asymptotic convergence analyses for AC algorithms. Recently, a two-timescale critic-actor algorithm has been presented for the discounted cost setting in the look-up table case where the timescales of the actor and the critic are reversed and only asymptotic convergence shown. In our work, we present the first two-timescale critic-actor algorithm with function approximation in the long-run average reward setting and present the first finite-time non-asymptotic as well as asymptotic convergence analysis for such a scheme. We obtain optimal learning rates and prove that our algorithm achieves a sample complexity of {$\mathcal{\tilde{O}}(\epsilon^{-(2+\delta)})$ with $\delta >0$ arbitrarily close to zero,} for the mean squared error of the critic to be upper bounded by $\epsilon$ which is better than the one obtained for two-timescale AC in a similar setting. A notable feature of our analysis is that we present the asymptotic convergence analysis of our scheme in addition to the finite-time bounds that we obtain and show the almost sure asymptotic convergence of the (slower) critic recursion to the attractor of an associated differential inclusion with actor parameters corresponding to local maxima of a perturbed average reward objective. We also show the results of numerical experiments on three benchmark settings and observe that our critic-actor algorithm performs the best amongst all algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google