Distributional Reinforcement Learning based Integrated Decision Making and Control for Autonomous Surface Vehicles

要約

近年、自律水上車両（ASV）の需要が高まっているため、さまざまな海上任務に配備されるASVの数が近い将来急速に増加すると予想されています。
しかし、ASV が障害物が多く混雑した水路でセンサーベースの自律航行を実行することは依然として困難であり、認識エラー、密集した車両、ブイ付近の限られた操縦スペースにより、衝突防止のための国際規則に従うことが困難になる可能性があります。
海上 (COLREG)。
これらの問題に対処するために、オンボードの LiDAR およびオドメトリ センサーと連携して、継続的なアクション空間で任意の推力コマンドを生成できる、新しい分布強化学習ベースのナビゲーション システムを提案します。
高忠実度の Gazebo シミュレーションによる提案システムの包括的な評価では、COLREG に従うべきか、遭遇するシナリオに基づいて他の有益なアクションを取るべきかを決定する能力が示され、最新のシステムを使用するシステムと比較してナビゲーションの安全性と効率において優れたパフォーマンスを提供します。
芸術 分配型 RL、非分配型 RL、および古典的な手法。

要約(オリジナル)

With the growing demands for Autonomous Surface Vehicles (ASVs) in recent years, the number of ASVs being deployed for various maritime missions is expected to increase rapidly in the near future. However, it is still challenging for ASVs to perform sensor-based autonomous navigation in obstacle-filled and congested waterways, where perception errors, closely gathered vehicles and limited maneuvering space near buoys may cause difficulties in following the Convention on the International Regulations for Preventing Collisions at Sea (COLREGs). To address these issues, we propose a novel Distributional Reinforcement Learning based navigation system that can work with onboard LiDAR and odometry sensors to generate arbitrary thrust commands in continuous action space. Comprehensive evaluations of the proposed system in high-fidelity Gazebo simulations show its ability to decide whether to follow COLREGs or take other beneficial actions based on the scenarios encountered, offering superior performance in navigation safety and efficiency compared to systems using state-of-the-art Distributional RL, non-Distributional RL and classical methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google