Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm

要約

専門家のデモンストレーションのデータセットが与えられると、逆強化学習 (IRL) は、専門家が最適な報酬を回収することを目的とします。
この研究は、エントロピー正則化された IRL 問題を解決するためのモデルフリー アルゴリズムを提案します。
特に、報酬には確率的勾配降下法更新を、ポリシーには確率的ソフト ポリシー反復更新を使用します。
生成モデルへのアクセスを仮定すると、私たちのアルゴリズムは、
マルコフ決定プロセス (MDP)。
さらに、$\mathcal{O}(1/\varepsilon^{4})$ サンプルを使用して、回収された報酬に対応する最適な政策が $\varepsilon$ であることを証明します。$\varepsilon$ は、総変動距離においてエキスパート政策に近いです。

要約(オリジナル)

Given a dataset of expert demonstrations, inverse reinforcement learning (IRL) aims to recover a reward for which the expert is optimal. This work proposes a model-free algorithm to solve entropy-regularized IRL problem. In particular, we employ a stochastic gradient descent update for the reward and a stochastic soft policy iteration update for the policy. Assuming access to a generative model, we prove that our algorithm is guaranteed to recover a reward for which the expert is $\varepsilon$-optimal using $\mathcal{O}(1/\varepsilon^{2})$ samples of the Markov decision process (MDP). Furthermore, with $\mathcal{O}(1/\varepsilon^{4})$ samples we prove that the optimal policy corresponding to the recovered reward is $\varepsilon$-close to the expert policy in total variation distance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google