Provably Efficient UCB-type Algorithms For Learning Predictive State Representations

要約

一般的な逐次意思決定問題には、特殊なケースとしてマルコフ決定プロセス (MDP) と部分的に観察可能な MDP (POMDP) が含まれており、長期にわたる観察とアクションの履歴に基づいて一連の意思決定を行うことで累積報酬を最大化することを目的としています。
最近の研究では、予測状態表現 (PSR) によってモデル化された低ランク構造を許容する場合、逐次意思決定問題は統計的に学習可能であることが示されています。
これらの進歩にもかかわらず、既存のアプローチには通常、計算効率の悪いオラクルやステップが含まれています。
一方、上位信頼境界 (UCB) ベースのアプローチは、バンディットや MDP において計算効率の高い手法として成功を収めてきましたが、より一般的な PSR では調査されていません。これは、これらのより困難な設定では楽観的なボーナス設計が難しいためです。
この論文では、PSR に対する既知の最初の UCB タイプのアプローチを提案します。これは、推定モデルと真のモデルの間の総変動距離の上限を設定する新しいボーナス項を特徴としています。
さらに、オンラインとオフラインの両方の PSR に対して設計された UCB タイプのアルゴリズムのサンプル複雑さの限界を特徴付けます。
PSR の既存のアプローチとは対照的に、当社の UCB タイプのアルゴリズムは、計算効率、最終反復保証された最適に近いポリシー、および保証されたモデル精度を享受します。

要約(オリジナル)

The general sequential decision-making problem, which includes Markov decision processes (MDPs) and partially observable MDPs (POMDPs) as special cases, aims at maximizing a cumulative reward by making a sequence of decisions based on a history of observations and actions over time. Recent studies have shown that the sequential decision-making problem is statistically learnable if it admits a low-rank structure modeled by predictive state representations (PSRs). Despite these advancements, existing approaches typically involve oracles or steps that are not computationally efficient. On the other hand, the upper confidence bound (UCB) based approaches, which have served successfully as computationally efficient methods in bandits and MDPs, have not been investigated for more general PSRs, due to the difficulty of optimistic bonus design in these more challenging settings. This paper proposes the first known UCB-type approach for PSRs, featuring a novel bonus term that upper bounds the total variation distance between the estimated and true models. We further characterize the sample complexity bounds for our designed UCB-type algorithms for both online and offline PSRs. In contrast to existing approaches for PSRs, our UCB-type algorithms enjoy computational efficiency, last-iterate guaranteed near-optimal policy, and guaranteed model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google