Mismatched No More: Joint Model-Policy Optimization for Model-Based RL

要約

多くのモデルベースの強化学習 (RL) メソッドは、同様のテンプレートに従います。以前に観察されたデータにモデルを適合させ、そのモデルからのデータを RL または計画に使用します。
ただし、より優れたトレーニング パフォーマンス (より低い MSE など) を達成するモデルは、必ずしも制御に優れているとは限りません。RL エージェントは、正確なモデルが誤りを犯したごく一部の状態を探し出す場合や、モデルを公開しない方法で動作する場合があります。
不正確なモデルのエラー。
以前の研究で述べたように、客観的な不一致があります。モデルは、適切なポリシーを生成する場合に役立ちますが、モデルから生じるポリシーのパフォーマンスではなく、精度を最大化するようにトレーニングされています。
この作業では、モデルとポリシーを共同でトレーニングするための単一の目的を提案します。これにより、いずれかのコンポーネントを更新すると、期待される収益の下限が増加します。
私たちの知る限り、これはモデルベースの強化学習の最初の下限であり、グローバルに保持され、連続設定で効率的に推定できます。
これは、客観的な不一致の問題を修正する唯一の下限です。
この境界のバージョンは、特定の仮定の下できつくなります。
この境界を最適化することは、GAN に似ています。分類子が本物の遷移と偽の遷移を区別し、モデルを更新して現実的に見える遷移を生成し、ポリシーを更新してモデルの予測が非現実的な状態を回避します。
数値シミュレーションは、この限界利回りを最適化することが、(おそらく驚くべきことに) 探査に役立つ可能性のあるポリシーと利回りのダイナミクスを最大化することに報いることを示しています。
また、下限に大まかに基づいたディープ RL アルゴリズムが、以前のモデルベースの方法と競合するパフォーマンスを達成し、特定のハードな探索タスクでより優れたパフォーマンスを達成できることも示しています。

要約(オリジナル)

Many model-based reinforcement learning (RL) methods follow a similar template: fit a model to previously observed data, and then use data from that model for RL or planning. However, models that achieve better training performance (e.g., lower MSE) are not necessarily better for control: an RL agent may seek out the small fraction of states where an accurate model makes mistakes, or it might act in ways that do not expose the errors of an inaccurate model. As noted in prior work, there is an objective mismatch: models are useful if they yield good policies, but they are trained to maximize their accuracy, rather than the performance of the policies that result from them. In this work, we propose a single objective for jointly training the model and the policy, such that updates to either component increase a lower bound on expected return. To the best of our knowledge, this is the first lower bound for model-based RL that holds globally and can be efficiently estimated in continuous settings; it is the only lower bound that mends the objective mismatch problem. A version of this bound becomes tight under certain assumptions. Optimizing this bound resembles a GAN: a classifier distinguishes between real and fake transitions, the model is updated to produce transitions that look realistic, and the policy is updated to avoid states where the model predictions are unrealistic. Numerical simulations demonstrate that optimizing this bound yields reward maximizing policies and yields dynamics that (perhaps surprisingly) can aid in exploration. We also show that a deep RL algorithm loosely based on our lower bound can achieve performance competitive with prior model-based methods, and better performance on certain hard exploration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google