Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward

要約

タイトル：トラジェクトリワイズ報酬を用いた証明可能なオフライン強化学習の効率
要約：
-強化学習の成功は、訪れた各状態-行動ペアの報酬を観察することに大きく依存している。
-しかし、現実の多くのアプリケーションでは、エージェントはトラジェクトリ全体の品質を示すスコアしか観察できない。これは「トラジェクトリ-ワイズ報酬」と呼ばれるものである。
-このような状況では、標準的なRL手法がトラジェクトリワイズ報酬をうまく活用することが困難であり、方策評価に大きなバイアスや分散のエラーが生じることがある。
-本研究では、最小二乗ベースの報酬再配分により、トラジェクトリリターンをステップごとのプロキシ報酬に分解し、学習されたプロキシ報酬に基づいた厳格な価値反復を実行する、PARTEDと呼ばれる新しいオフラインRLアルゴリズムを提案している。
-PARTEDが構築する価値関数が常に最適価値関数に対して悲観的であることを保証するために、プロキシ報酬の不確実性を相殺する新しいペナルティ項を設計している。
-大規模な状態空間を持つ一般的なエピソードMDPについて、PARTEDは過剰パラメータ化されたニューラルネットワーク関数近似を使用して、$\tilde{\mathcal{O}}(D_{\text{eff}}H^2/\sqrt{N})$のサブオプティマリティを達成することを示している。ここで、$H$はエピソードの長さ、$N$は総サンプル数、$D_{\text{eff}}$はニューラルタンジェントカーネル行列の有効次元である。
-さらに、PARTEDは、線形MDPの場合にはニューラルネットワーク関数の近似に一致する$D_{\text{eff}}=dH$の場合に、$\tilde{\mathcal{O}}(dH^3/\sqrt{N})$のサブオプティマリティを達成することを示している。
-PARTEDは、最初のトラジェクトリワイズ報酬を持つ一般的なMDPで証明可能に効率的なオフラインRLアルゴリズムであると考えられている。

要約(オリジナル)

The remarkable success of reinforcement learning (RL) heavily relies on observing the reward of every visited state-action pair. In many real world applications, however, an agent can observe only a score that represents the quality of the whole trajectory, which is referred to as the {\em trajectory-wise reward}. In such a situation, it is difficult for standard RL methods to well utilize trajectory-wise reward, and large bias and variance errors can be incurred in policy evaluation. In this work, we propose a novel offline RL algorithm, called Pessimistic vAlue iteRaTion with rEward Decomposition (PARTED), which decomposes the trajectory return into per-step proxy rewards via least-squares-based reward redistribution, and then performs pessimistic value iteration based on the learned proxy reward. To ensure the value functions constructed by PARTED are always pessimistic with respect to the optimal ones, we design a new penalty term to offset the uncertainty of the proxy reward. For general episodic MDPs with large state space, we show that PARTED with overparameterized neural network function approximation achieves an $\tilde{\mathcal{O}}(D_{\text{eff}}H^2/\sqrt{N})$ suboptimality, where $H$ is the length of episode, $N$ is the total number of samples, and $D_{\text{eff}}$ is the effective dimension of the neural tangent kernel matrix. To further illustrate the result, we show that PARTED achieves an $\tilde{\mathcal{O}}(dH^3/\sqrt{N})$ suboptimality with linear MDPs, where $d$ is the feature dimension, which matches with that with neural network function approximation, when $D_{\text{eff}}=dH$. To the best of our knowledge, PARTED is the first offline RL algorithm that is provably efficient in general MDP with trajectory-wise reward.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI