Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning

要約

低ランク構造の強化学習 (RL) で生じる行列推定問題を研究します。
低ランクのバンディットでは、回復される行列は予想されるアーム報酬を指定し、低ランクのマルコフ決定プロセス (MDP) では、たとえば MDP の遷移カーネルを特徴付けることができます。
どちらの場合も、行列の各エントリには重要な情報が含まれているため、エントリごとの誤差が低い推定方法を探します。
重要なのは、これらの方法は、利用可能なデータ内の固有の相関にさらに対応する必要があることです（たとえば、MDP の場合、データはシステム軌跡で構成されます）。
我々は、単純なスペクトルベースの行列推定アプローチのパフォーマンスを調査します。それらが行列の特異部分空間を効率的に回復し、ほぼ最小の入力誤差を示すことを示します。
低ランク行列推定に関するこれらの新しい結果により、基礎となる低ランク構造を完全に活用する強化学習アルゴリズムを考案することが可能になります。
このようなアルゴリズムの例として、低ランクのバンディット問題に対するリグアロング最小化アルゴリズムと、低ランクの MDP における無報酬 RL に対する最適なポリシー識別アルゴリズムの 2 つの例を示します。
どちらのアルゴリズムも最先端のパフォーマンスを保証します。

要約(オリジナル)

We study matrix estimation problems arising in reinforcement learning (RL) with low-rank structure. In low-rank bandits, the matrix to be recovered specifies the expected arm rewards, and for low-rank Markov Decision Processes (MDPs), it may for example characterize the transition kernel of the MDP. In both cases, each entry of the matrix carries important information, and we seek estimation methods with low entry-wise error. Importantly, these methods further need to accommodate for inherent correlations in the available data (e.g. for MDPs, the data consists of system trajectories). We investigate the performance of simple spectral-based matrix estimation approaches: we show that they efficiently recover the singular subspaces of the matrix and exhibit nearly-minimal entry-wise error. These new results on low-rank matrix estimation make it possible to devise reinforcement learning algorithms that fully exploit the underlying low-rank structure. We provide two examples of such algorithms: a regret minimization algorithm for low-rank bandit problems, and a best policy identification algorithm for reward-free RL in low-rank MDPs. Both algorithms yield state-of-the-art performance guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google