A General Framework for Sequential Decision-Making under Adaptivity Constraints

要約

私たちは、まれなポリシーの切り替えとバッチ学習という 2 つの適応性制約の下で、一般的な逐次的意思決定を研究する第一歩を踏み出します。
まず、Eluder Condition クラスと呼ばれる一般的なクラスを提供します。これには、幅広い強化学習クラスが含まれます。
次に、まれなポリシー切り替え制約に対して、 $\widetilde{\mathcal{O}}(\sqrt
{K})$ は EC クラスについて後悔しています。
バッチ学習制約については、バッチ数 $B で $\widetilde{\mathcal{O}}(\sqrt{K}+K/B)$ の後悔を与えるアルゴリズムを提供します。この論文は最初のものです。
一般的な関数クラスでのまれなポリシーの切り替えとバッチ学習を考慮した研究。表形式 MDP (Bai et al. 2019; Zhang et al. 2020)、線形 MDP (Wang et al. 2021) など、以前の研究で研究されたほぼすべてのモデルをカバーしています。
; Gao et al. 2021)、低溶出次元 MDP (Kong et al. 2021; Gao et al. 2021)、一般化線形関数近似 (Qiao et al. 2023)、および低 $D_\ などのいくつかの新しいクラスも
デルタ$タイプのベルマン・エルダー次元問題、線形混合MDP、カーネル化された非線形レギュレータ、および不完全な部分的に観測されたマルコフ決定プロセス(POMDP)。

要約(オリジナル)

We take the first step in studying general sequential decision-making under two adaptivity constraints: rare policy switch and batch learning. First, we provide a general class called the Eluder Condition class, which includes a wide range of reinforcement learning classes. Then, for the rare policy switch constraint, we provide a generic algorithm to achieve a $\widetilde{\mathcal{O}}(\log K) $ switching cost with a $\widetilde{\mathcal{O}}(\sqrt{K})$ regret on the EC class. For the batch learning constraint, we provide an algorithm that provides a $\widetilde{\mathcal{O}}(\sqrt{K}+K/B)$ regret with the number of batches $B.$ This paper is the first work considering rare policy switch and batch learning under general function classes, which covers nearly all the models studied in the previous works such as tabular MDP (Bai et al. 2019; Zhang et al. 2020), linear MDP (Wang et al. 2021; Gao et al. 2021), low eluder dimension MDP (Kong et al. 2021; Gao et al. 2021), generalized linear function approximation (Qiao et al. 2023), and also some new classes such as the low $D_\Delta$-type Bellman eluder dimension problem, linear mixture MDP, kernelized nonlinear regulator and undercomplete partially observed Markov decision process (POMDP).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google