Unguided Self-exploration in Narrow Spaces with Safety Region Enhanced Reinforcement Learning for Ackermann-steering Robots

要約

狭い空間では、従来の階層型自律システムに基づいた動作計画は、特に非凸および非ホロノミック運動学の影響を受ける車のようなアッカーマン操縦ロボットの場合、マッピング、位置特定、および制御ノイズによる衝突を引き起こす可能性があります。
これらの問題に対処するために、自己意思決定に効果的であることが実証されている深層強化学習を活用し、地図や目的地が与えられていない狭い空間を衝突を回避しながら自己探索することができます。
具体的には、アッカーマンステアリングの長方形の ZebraT ロボットとその Gazebo シミュレータに基づいて、長方形のロボットの状態を表し衝突を検出するための長方形の安全領域と、強化学習のための慎重に作成された報酬関数を提案します。
ウェイポイント案内。
検証のために、ロボットは最初にシミュレートされた狭いトラックで訓練されました。
その後、十分にトレーニングされたモデルは他のシミュレーション トラックに転送され、古典的な手法や学習手法を含む他の従来の手法を上回るパフォーマンスを発揮することができました。
最後に、トレーニングされたモデルは、ZebraT ロボットを使用して現実世界でデモンストレーションされます。

要約(オリジナル)

In narrow spaces, motion planning based on the traditional hierarchical autonomous system could cause collisions due to mapping, localization, and control noises, especially for car-like Ackermann-steering robots which suffer from non-convex and non-holonomic kinematics. To tackle these problems, we leverage deep reinforcement learning which is verified to be effective in self-decision-making, to self-explore in narrow spaces without a given map and destination while avoiding collisions. Specifically, based on our Ackermann-steering rectangular-shaped ZebraT robot and its Gazebo simulator, we propose the rectangular safety region to represent states and detect collisions for rectangular-shaped robots, and a carefully crafted reward function for reinforcement learning that does not require the waypoint guidance. For validation, the robot was first trained in a simulated narrow track. Then, the well-trained model was transferred to other simulation tracks and could outperform other traditional methods including classical and learning methods. Finally, the trained model is demonstrated in the real world with our ZebraT robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google