Model-Free, Regret-Optimal Best Policy Identification in Online CMDPs

要約

このペーパーでは、オンラインの制約付きマルコフ決定プロセス (CMDP) における最良のポリシー識別 (BPI) 問題について考察します。
私たちは、モデルフリーで後悔が少なく、最適なポリシーを高い確率で特定するアルゴリズムに興味を持っています。
サブリニアリグレスと制約違反を伴うオンライン CMDP 用の既存のモデルフリー アルゴリズムでは、最適なポリシーへの収束保証は提供されず、ポリシーが以前に使用されたすべてのポリシーからランダムに均一にサンプリングされた場合の平均パフォーマンス保証のみが提供されます。
この論文では、Koole(1988) で証明された CMDP の基本的な構造特性に基づいて、Pruning-Refinement-Identification (PRI) と呼ばれる新しいアルゴリズムを開発します。
Ross(1989)、これを限定確率性と呼びます。
このプロパティは、$N$ 制約のある CMDP に対して、最大 $N$ の確率的決定を伴う最適なポリシーが存在することを示しています。
提案されたアルゴリズムは、まずどのステップでどの状態で確率的決定を行う必要があるかを特定し、次にこれらの確率的決定の分布を微調整します。
PRI は次の 3 つの目的を達成します。(i) PRI はモデルフリーのアルゴリズムです。
(ii) 学習の終了時に、高い確率で最適に近いポリシーを出力します。
(iii) 表形式の設定では、PRI は $\tilde{\mathcal{O}}(\sqrt{K})$ リグレスと制約違反を保証し、既存の最良のリグレス限界 $\tilde{\mathcal{O を大幅に改善します
}}(K^{\frac{4}{5}})$ はモデルフリー アルゴリズムの下で、$K$ はエピソードの総数です。

要約(オリジナル)

This paper considers the best policy identification (BPI) problem in online Constrained Markov Decision Processes (CMDPs). We are interested in algorithms that are model-free, have low regret, and identify an optimal policy with a high probability. Existing model-free algorithms for online CMDPs with sublinear regret and constraint violation do not provide any convergence guarantee to an optimal policy and provide only average performance guarantees when a policy is uniformly sampled at random from all previously used policies. In this paper, we develop a new algorithm, named Pruning-Refinement-Identification (PRI), based on a fundamental structural property of CMDPs proved in Koole(1988); Ross(1989), which we call limited stochasticity. The property says for a CMDP with $N$ constraints, there exists an optimal policy with at most $N$ stochastic decisions. The proposed algorithm first identifies at which step and in which state a stochastic decision has to be taken and then fine-tunes the distributions of these stochastic decisions. PRI achieves trio objectives: (i) PRI is a model-free algorithm; and (ii) it outputs a near-optimal policy with a high probability at the end of learning; and (iii) in the tabular setting, PRI guarantees $\tilde{\mathcal{O}}(\sqrt{K})$ regret and constraint violation, which significantly improves the best existing regret bound $\tilde{\mathcal{O}}(K^{\frac{4}{5}})$ under a model-free algorithm, where $K$ is the total number of episodes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google