Deep Reinforcement Learning: A Convex Optimization Approach

要約

この論文では、連続状態およびアクション空間を持つ非線形システムの強化学習を検討します。
エピソードごとに凸最適化を使用して、最適な $Q$ 関数の 2 層ニューラル ネットワーク近似を見つけるエピソード学習アルゴリズムを紹介します。
凸型最適化アプローチでは、現在のエピソードの特定のサンプリングされた状態とアクションに関して、各エピソードで計算された重みが最適であることが保証されます。
安定した非線形システムについては、アルゴリズムが収束し、学習済みニューラル ネットワークの収束パラメーターを最適なニューラル ネットワーク パラメーターに任意に近づけることができることを示します。
特に、訓練フェーズの正則化パラメータが $\rho$ で与えられる場合、訓練されたニューラル ネットワークのパラメータは $w$ に収束します。ここで、$w$ と最適パラメータ $w^\star$ の間の距離は次のようになります。
$\mathcal{O}(\rho)$ によって制限されます。
つまり、エピソード数が無限大になると、 \[ \|w-w^\star\| となるような定数 $C$ が存在します。
\leC\rho.
\] 特に、私たちのアルゴリズムは、正則化パラメーターがゼロになるにつれて、最適なニューラル ネットワーク パラメーターに任意に近づいて収束します。
結果として、凸最適化アルゴリズムの多項式時間収束により、アルゴリズムは高速に収束します。

要約(オリジナル)

In this paper, we consider reinforcement learning of nonlinear systems with continuous state and action spaces. We present an episodic learning algorithm, where we for each episode use convex optimization to find a two-layer neural network approximation of the optimal $Q$-function. The convex optimization approach guarantees that the weights calculated at each episode are optimal, with respect to the given sampled states and actions of the current episode. For stable nonlinear systems, we show that the algorithm converges and that the converging parameters of the trained neural network can be made arbitrarily close to the optimal neural network parameters. In particular, if the regularization parameter in the training phase is given by $\rho$, then the parameters of the trained neural network converge to $w$, where the distance between $w$ and the optimal parameters $w^\star$ is bounded by $\mathcal{O}(\rho)$. That is, when the number of episodes goes to infinity, there exists a constant $C$ such that \[ \|w-w^\star\| \le C\rho. \] In particular, our algorithm converges arbitrarily close to the optimal neural network parameters as the regularization parameter goes to zero. As a consequence, our algorithm converges fast due to the polynomial-time convergence of convex optimization algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google