Actor-Critics Can Achieve Optimal Sample Efficiency

要約

俳優批判のアルゴリズムは、補強学習（RL）の基礎となり、ポリシーベースと価値ベースの方法の両方の強みを活用しています。
統計効率を理解する最近の進展にもかかわらず、$ o（1/\ epsilon^2）のサンプルの複雑さを備えた$ \ epsilon $ -optimalポリシーを成功裏に学習した既存の作業はありません。
$ o（dh^5 \ log | \ mathcal {a} |/ \ epsilon^2 + d h^4 \ log | \ mathcal {f} |/ \ epsilon^2）$ epsilon^2）$ sqrtiry $ traging $ traging $ traginy $ traging $ traging、$ traging、$ oの複雑さを達成する新しい俳優criticアルゴリズムを導入することにより、このオープンな問題に対処することにより、このオープンな問題に対処します。
Bellman Everuder Dimension $ D $は、$ \ log t $レートを超える$ t $で増加しません。
ここでは、$ \ mathcal {f} $は批評家関数クラス、$ \ mathcal {a} $はアクション空間、$ h $は有限Horizo​​n MDP設定の地平線です。
当社のアルゴリズムは、楽観主義、最適なQ機能を対象としたポリシー批評家の推定、およびレアスイッチングポリシーリセットを統合します。
これをハイブリッドRLの設定に拡張し、批評家をオフラインデータで初期化すると、純粋にオフラインまたはオンラインRLと比較してサンプル効率の向上が得られることが示されています。
さらに、オフラインデータへのアクセスを利用して、$ n _ {\ text {off}} \ geq c _ {\ text {off}}}^*dh^4/\ epsilon^2 $ in opsilon^2 $ inits opsilon^2 $を必要とする\ textit {nonptimistic}の実証的に効率的なアクターcriticアルゴリズムを提供します。
$ c _ {\ text {off}}^*$は単一ポリシー濃度係数であり、$ n _ {\ text {off}} $はオフラインサンプルの数です。
これは、文献の別の未解決の問題に対処しています。
さらに、理論的な調査結果をサポートするための数値実験を提供します。

要約(オリジナル)

Actor-critic algorithms have become a cornerstone in reinforcement learning (RL), leveraging the strengths of both policy-based and value-based methods. Despite recent progress in understanding their statistical efficiency, no existing work has successfully learned an $\epsilon$-optimal policy with a sample complexity of $O(1/\epsilon^2)$ trajectories with general function approximation when strategic exploration is necessary. We address this open problem by introducing a novel actor-critic algorithm that attains a sample-complexity of $O(dH^5 \log|\mathcal{A}|/\epsilon^2 + d H^4 \log|\mathcal{F}|/ \epsilon^2)$ trajectories, and accompanying $\sqrt{T}$ regret when the Bellman eluder dimension $d$ does not increase with $T$ at more than a $\log T$ rate. Here, $\mathcal{F}$ is the critic function class, $\mathcal{A}$ is the action space, and $H$ is the horizon in the finite horizon MDP setting. Our algorithm integrates optimism, off-policy critic estimation targeting the optimal Q-function, and rare-switching policy resets. We extend this to the setting of Hybrid RL, showing that initializing the critic with offline data yields sample efficiency gains compared to purely offline or online RL. Further, utilizing access to offline data, we provide a \textit{non-optimistic} provably efficient actor-critic algorithm that only additionally requires $N_{\text{off}} \geq c_{\text{off}}^*dH^4/\epsilon^2$ in exchange for omitting optimism, where $c_{\text{off}}^*$ is the single-policy concentrability coefficient and $N_{\text{off}}$ is the number of offline samples. This addresses another open problem in the literature. We further provide numerical experiments to support our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google