Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using Online Function Approximation

要約

OMG-CMDP を紹介します。
敵対的コンテキスト MDP における後悔を最小限に抑えるためのアルゴリズム。
このアルゴリズムは、実現可能な関数クラスとオンライン最小二乗法および対数損失回帰オラクルへのアクセスという最小限の仮定の下で動作します。
私たちのアルゴリズムは効率的であり (効率的なオンライン回帰オラクルを前提としています)、シンプルかつ近似誤差に対して堅牢です。
$\widetilde{O}(H^{2.5} \sqrt{ T|S||A| ( \mathcal{R}(\mathcal{O}) + H \log(\delta^{-1}
) )})$ 後悔保証。$T$ はエピソード数、$S$ は状態空間、$A$ はアクション空間、$H$ は地平線、$\mathcal{R}(\mathcal{O}
) = \mathcal{R}(\mathcal{O}_{\mathrm{sq}}^\mathcal{F}) + \mathcal{R}(\mathcal{O}_{\mathrm{log}}^\
mathcal{P})$ は、回帰オラクルの後悔の合計であり、コンテキスト依存の報酬とダイナミクスをそれぞれ近似するために使用されます。
私たちの知る限り、私たちのアルゴリズムは、オンライン関数近似の最小限の標準仮定の下で動作する、敵対的 CMDP 向けの最初の効率的なレート最適リグレス最小化アルゴリズムです。

要約(オリジナル)

We present the OMG-CMDP! algorithm for regret minimization in adversarial Contextual MDPs. The algorithm operates under the minimal assumptions of realizable function class and access to online least squares and log loss regression oracles. Our algorithm is efficient (assuming efficient online regression oracles), simple and robust to approximation errors. It enjoys an $\widetilde{O}(H^{2.5} \sqrt{ T|S||A| ( \mathcal{R}(\mathcal{O}) + H \log(\delta^{-1}) )})$ regret guarantee, with $T$ being the number of episodes, $S$ the state space, $A$ the action space, $H$ the horizon and $\mathcal{R}(\mathcal{O}) = \mathcal{R}(\mathcal{O}_{\mathrm{sq}}^\mathcal{F}) + \mathcal{R}(\mathcal{O}_{\mathrm{log}}^\mathcal{P})$ is the sum of the regression oracles’ regret, used to approximate the context-dependent rewards and dynamics, respectively. To the best of our knowledge, our algorithm is the first efficient rate optimal regret minimization algorithm for adversarial CMDPs that operates under the minimal standard assumption of online function approximation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google