Fast Nonlinear Two-Time-Scale Stochastic Approximation: Achieving $O(1/k)$ Finite-Sample Complexity

要約

この論文では、これらの演算子のノイズの多いサンプルのみが観察できると仮定して、2 つの結合された非線形演算子の根を見つけるための 2 タイムスケールの確率的近似の新しい変形を開発することを提案します。
私たちの重要なアイデアは、古典的な Ruppert-Polyak 平均化手法を活用して、サンプルを通じて演算子を動的に推定することです。
これらの平均化ステップの推定値は、2 つの時間スケールの確率的近似の更新で使用され、目的の解が見つかります。
私たちの主な理論的結果は、基礎となる非線形演算子の強い単調条件下で、提案された方法によって生成された反復の平均二乗誤差が最適なレート $O(1/k)$ でゼロに収束することを示します。ここで $k
$ は反復回数です。
私たちの結果は、既知の有限時間収束率が $O(1/k^{2/3})$ である 2 時間スケールの確率的近似の既存の結果を大幅に改善します。
提案された方法を適用して、パフォーマンスが向上した新しい強化学習アルゴリズムを開発することで、この結果を説明します。

要約(オリジナル)

This paper proposes to develop a new variant of the two-time-scale stochastic approximation to find the roots of two coupled nonlinear operators, assuming only noisy samples of these operators can be observed. Our key idea is to leverage the classic Ruppert-Polyak averaging technique to dynamically estimate the operators through their samples. The estimated values of these averaging steps will then be used in the two-time-scale stochastic approximation updates to find the desired solution. Our main theoretical result is to show that under the strongly monotone condition of the underlying nonlinear operators the mean-squared errors of the iterates generated by the proposed method converge to zero at an optimal rate $O(1/k)$, where $k$ is the number of iterations. Our result significantly improves the existing result of two-time-scale stochastic approximation, where the best known finite-time convergence rate is $O(1/k^{2/3})$. We illustrate this result by applying the proposed method to develop new reinforcement learning algorithms with improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google