Avoidance Navigation Based on Offline Pre-Training Reinforcement Learning

要約

本論文では、未知の環境においてセンサデータを制御変数にマッピングして航行する移動ロボットのための、地図なし回避ナビゲーションのための事前学習深層強化学習(DRL)を提案する。また、オフライン学習のために専門家の経験を含む普遍的なデータセットを収集する。事前訓練と優先順位付けされた専門家の経験は、80％の訓練時間を短縮するために提案され、DRLの2倍の報酬を改善することが検証されている。実際の物理モデリングと動的方程式を用いた高度なシミュレーションガゼボは、シミュレーションとリアルの間のギャップを低減する。我々は、廊下環境でモデルを訓練し、異なる環境でモデルを評価し、同じ効果を得る。従来のナビゲーション手法と比較して、訓練されたモデルは様々なシナリオに直接適用することができ、衝突のないナビゲーション能力を持つことが確認できた。その結果、我々のDRLモデルは異なる環境においても普遍的な能力を持つことが実証された。

要約(オリジナル)

This paper presents a Pre-Training Deep Reinforcement Learning(DRL) for avoidance navigation without map for mobile robots which map raw sensor data to control variable and navigate in an unknown environment. The efficient offline training strategy is proposed to speed up the inefficient random explorations in early stage and we also collect a universal dataset including expert experience for offline training, which is of some significance for other navigation training work. The pre-training and prioritized expert experience are proposed to reduce 80\% training time and has been verified to improve the 2 times reward of DRL. The advanced simulation gazebo with real physical modelling and dynamic equations reduce the gap between sim-to-real. We train our model a corridor environment, and evaluate the model in different environment getting the same effect. Compared to traditional method navigation, we can confirm the trained model can be directly applied into different scenarios and have the ability to no collision navigate. It was demonstrated that our DRL model have universal general capacity in different environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL