Improving Offline Reinforcement Learning with Inaccurate Simulators

要約

オフライン強化学習 (RL) は、コストのかかる実環境とのオンライン インタラクションを回避するための有望なアプローチを提供します。
ただし、オフライン RL のパフォーマンスはデータセットの品質に大きく依存するため、学習プロセスで外挿誤差が発生する可能性があります。
多くのロボット アプリケーションでは、不正確なシミュレーターが使用されることがよくあります。
ただし、よく知られている探索と活用のジレンマと、不正確なシミュレーションと実際の環境との間の動的なギャップのため、不正確なシミュレーターから直接収集されたデータをオフライン RL で直接使用することはできません。
これらの問題に対処するために、オフライン データセットと不正確なシミュレーション データをより適切な方法で組み合わせる新しいアプローチを提案します。
具体的には、オフライン データセットの状態分布に適合するように、敵対的生成ネットワーク (GAN) モデルを事前トレーニングします。
これを考慮して、ジェネレーターによって提供された分布から開始して不正確なシミュレーターからデータを収集し、弁別器を使用してシミュレートされたデータを再重み付けします。
D4RL ベンチマークと現実世界の操作タスクでの実験結果は、私たちの手法が不正確なシミュレーターと限られたオフライン データセットの両方からより多くの恩恵を受けて、最先端の手法よりも優れたパフォーマンスを達成できることを確認しています。

要約(オリジナル)

Offline reinforcement learning (RL) provides a promising approach to avoid costly online interaction with the real environment. However, the performance of offline RL highly depends on the quality of the datasets, which may cause extrapolation error in the learning process. In many robotic applications, an inaccurate simulator is often available. However, the data directly collected from the inaccurate simulator cannot be directly used in offline RL due to the well-known exploration-exploitation dilemma and the dynamic gap between inaccurate simulation and the real environment. To address these issues, we propose a novel approach to combine the offline dataset and the inaccurate simulation data in a better manner. Specifically, we pre-train a generative adversarial network (GAN) model to fit the state distribution of the offline dataset. Given this, we collect data from the inaccurate simulator starting from the distribution provided by the generator and reweight the simulated data using the discriminator. Our experimental results in the D4RL benchmark and a real-world manipulation task confirm that our method can benefit more from both inaccurate simulator and limited offline datasets to achieve better performance than the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google