Optimistic Regret Bounds for Online Learning in Adversarial Markov Decision Processes

要約

敵対的マルコフ決定過程(AMDP)は、ロボット工学や推薦システムのような意思決定アプリケーションにおいて、未知で変化するタスクを扱う学習フレームワークである。しかし、AMDP形式論の大きな限界は、コスト関数があるエピソードから次のエピソードへと変化する可能性があるにもかかわらず、多くの設定における進化は敵対的ではないという意味で、悲観的な後悔分析結果である。この問題に対処するために、我々はAMDPの新しい変種を導入し、研究する。この設定のために、我々は、高確率でサブリニアな楽観的後悔を達成する新しい政策探索法を開発する。(i)我々が実証したように、既存の重要度重み付きコスト推定器は楽観的境界を確立できないこと、(ii)AMDPのフィードバックモデルは既存の楽観的オンライン学習とは異なる（そしてより現実的である）ことを考えると、このような楽観的後悔境界を確立することは自明ではない。特に、我々の結果は、コスト予測器を活用し、制限的な仮定を課すことなく高確率の後悔分析を可能にする、新しい楽観的バイアスコスト推定器の開発に依存している。さらに、提案スキームの実用的な拡張について議論し、その有効性を数値的に実証する。

要約(オリジナル)

The Adversarial Markov Decision Process (AMDP) is a learning framework that deals with unknown and varying tasks in decision-making applications like robotics and recommendation systems. A major limitation of the AMDP formalism, however, is pessimistic regret analysis results in the sense that although the cost function can change from one episode to the next, the evolution in many settings is not adversarial. To address this, we introduce and study a new variant of AMDP, which aims to minimize regret while utilizing a set of cost predictors. For this setting, we develop a new policy search method that achieves a sublinear optimistic regret with high probability, that is a regret bound which gracefully degrades with the estimation power of the cost predictors. Establishing such optimistic regret bounds is nontrivial given that (i) as we demonstrate, the existing importance-weighted cost estimators cannot establish optimistic bounds, and (ii) the feedback model of AMDP is different (and more realistic) than the existing optimistic online learning works. Our result, in particular, hinges upon developing a novel optimistically biased cost estimator that leverages cost predictors and enables a high-probability regret analysis without imposing restrictive assumptions. We further discuss practical extensions of the proposed scheme and demonstrate its efficacy numerically.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL