Deep Incremental Model Informed Reinforcement Learning for Continuous Robotic Control

要約

モデルベースの強化学習は、利用可能または学習モデルを使用して、強化学習のデータ効率を改善しようとします。
この作業は、深い増分モデルとサンプル効率の高い連続ロボット制御を実現するためのポリシーを共同で学習するワンステップのルックバックアプローチを提案します。これにより、コントロール理論の知識がモデル学習の難易度を低下させ、効率的なトレーニングを促進します。
具体的には、ワンステップの逆方向データを使用して、ロボット進化モデルの代替構造表現である深い増分モデルを促進し、ロボット運動を正確に予測しますが、サンプルの複雑さは低くなります。
これは、処方されたディープインクリメンタルモデルがモデル学習の難易度をパラメトリックマトリックス学習問題に分解するためです。これは、高次元ロボットアプリケーションに特に有利です。
学習したディープインクリメンタルモデルからの想像上のデータは、サンプル効率を高めるためにトレーニングデータを補完するために使用されます。
ベンチマーク上の比較数値シミュレーション連続ロボット制御のコントロール問題が実施され、提案されたワンステップルックバックアプローチの効率を検証します。

要約(オリジナル)

Model-based reinforcement learning attempts to use an available or learned model to improve the data efficiency of reinforcement learning. This work proposes a one-step lookback approach that jointly learns the deep incremental model and the policy to realize the sample-efficient continuous robotic control, wherein the control-theoretical knowledge is utilized to decrease the model learning difficulty and facilitate efficient training. Specifically, we use one-step backward data to facilitate the deep incremental model, an alternative structured representation of the robotic evolution model, that accurately predicts the robotic movement but with low sample complexity. This is because the formulated deep incremental model degrades the model learning difficulty into a parametric matrix learning problem, which is especially favourable to high-dimensional robotic applications. The imagined data from the learned deep incremental model is used to supplement training data to enhance the sample efficiency. Comparative numerical simulations on benchmark continuous robotics control problems are conducted to validate the efficiency of our proposed one-step lookback approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google