Sublinear Regret for An Actor-Critic Algorithm in Continuous-Time Linear-Quadratic Reinforcement Learning

要約

私たちは、状態プロセスの変動性が状態変数と制御変数の両方に依存する拡散に対する連続時間線形二次 (LQ) 制御問題のクラスに対する強化学習 (RL) を研究します。
モデルパラメータの知識にもその推定にも依存しないモデルフリーアプローチを適用し、最適なポリシーパラメータを直接学習するためのアクタークリティカルアルゴリズムを考案します。
私たちの主な貢献には、新しい探査スケジュールの導入と、提案されたアルゴリズムのリグレス分析が含まれます。
ポリシー パラメーターの最適な収束率を提供し、アルゴリズムが最大対数係数までのリグレス限界 $O(N^{\frac{3}{4}})$ を達成することを証明します。
理論的な結果を検証し、提案されたアルゴリズムの有効性と信頼性を実証するためにシミュレーション研究を実施します。
また、私たちの方法と、状態および制御依存のボラティリティ設定に適応した最近のモデルベースの確率的 LQ RL 研究の方法との間の数値比較も実行し、リグレス限界の点で前者の方が優れたパフォーマンスを示しています。

要約(オリジナル)

We study reinforcement learning (RL) for a class of continuous-time linear-quadratic (LQ) control problems for diffusions where volatility of the state processes depends on both state and control variables. We apply a model-free approach that relies neither on knowledge of model parameters nor on their estimations, and devise an actor-critic algorithm to learn the optimal policy parameter directly. Our main contributions include the introduction of a novel exploration schedule and a regret analysis of the proposed algorithm. We provide the convergence rate of the policy parameter to the optimal one, and prove that the algorithm achieves a regret bound of $O(N^{\frac{3}{4}})$ up to a logarithmic factor. We conduct a simulation study to validate the theoretical results and demonstrate the effectiveness and reliability of the proposed algorithm. We also perform numerical comparisons between our method and those of the recent model-based stochastic LQ RL studies adapted to the state- and control-dependent volatility setting, demonstrating a better performance of the former in terms of regret bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google