Misspecified $Q$-Learning with Sparse Linear Function Approximation: Tight Bounds on Approximation Error

要約

Dong & Yang (2023) による最近の研究では、誤って指定されたスパース線形バンディットに対して、スパース度が定数の場合にサンプルの多項式数を使用して $O\left(\epsilon\right)$ 最適ポリシーを取得できることが示されました。
\epsilon$ は指定ミスのエラーです。
この結果は、同じ保証を得るために指数関数的な数のサンプルを必要とする、スパース性のない誤って指定された線形バンディットとは対照的です。
強化学習設定でアナログ結果が可能かどうかを調べるために、次の問題を検討します: 最適な $Q$ 関数がスパース性 $k$ と誤指定エラー $\epsilon を持つ $d$ 次元の線形関数であると仮定します。
$、特徴次元 $d$ でサンプル数を多項式に使用して $O\left(\epsilon\right)$ 最適なポリシーを取得できるかどうか。
まず、ベルマンバックアップに基づく標準的なアプローチや、OLIVE (Jiang et al., 2017) などの既存の楽観的価値関数排除アプローチが、この問題に対して次善の保証を達成する理由を示します。
次に、新しい消去ベースのアルゴリズムを設計して、特徴次元 $d$ と計画期間 $H$ でサンプル複雑度を多項式に持つ $O\left(H\epsilon\right)$ 最適ポリシーを取得できることを示します。
最後に、上限を $\widetilde{\Omega}\left(H\epsilon\right)$ 準最適下限で補完し、この問題の全体像を示します。

要約(オリジナル)

The recent work by Dong & Yang (2023) showed for misspecified sparse linear bandits, one can obtain an $O\left(\epsilon\right)$-optimal policy using a polynomial number of samples when the sparsity is a constant, where $\epsilon$ is the misspecification error. This result is in sharp contrast to misspecified linear bandits without sparsity, which require an exponential number of samples to get the same guarantee. In order to study whether the analog result is possible in the reinforcement learning setting, we consider the following problem: assuming the optimal $Q$-function is a $d$-dimensional linear function with sparsity $k$ and misspecification error $\epsilon$, whether we can obtain an $O\left(\epsilon\right)$-optimal policy using number of samples polynomially in the feature dimension $d$. We first demonstrate why the standard approach based on Bellman backup or the existing optimistic value function elimination approach such as OLIVE (Jiang et al., 2017) achieves suboptimal guarantees for this problem. We then design a novel elimination-based algorithm to show one can obtain an $O\left(H\epsilon\right)$-optimal policy with sample complexity polynomially in the feature dimension $d$ and planning horizon $H$. Lastly, we complement our upper bound with an $\widetilde{\Omega}\left(H\epsilon\right)$ suboptimality lower bound, giving a complete picture of this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google