Robust Unmanned Surface Vehicle Navigation with Distributional Reinforcement Learning

要約

流れのある海洋環境における無人水上飛行体 (USV) の自律航行は困難であり、流れや障害物に関する事前知識がないこのような環境におけるセンサーベースの航行問題に取り組んだ先行研究はほとんどありません。
私たちは、行動の結果の不確実性を捉えるリターン分布を学習する分布強化学習 (RL) ベースのローカル パス プランナーと、環境内のリスクに対する感度レベルを自動的に調整する適応アルゴリズムを提案します。
提案されたプランナーは、従来の RL ベースのプランナーよりも安定した学習パフォーマンスを実現し、より安全なポリシーに収束します。
計算実験により、従来の RL ベースのプランナーや、人工ポテンシャル フィールドやバグ アルゴリズムなどの古典的なローカル計画手法と比較して、提案されたプランナーは環境の流れに対して堅牢であり、安全性、時間、エネルギーの点で優れた軌道を計画できることが実証されています。
消費。

要約(オリジナル)

Autonomous navigation of Unmanned Surface Vehicles (USV) in marine environments with current flows is challenging, and few prior works have addressed the sensorbased navigation problem in such environments under no prior knowledge of the current flow and obstacles. We propose a Distributional Reinforcement Learning (RL) based local path planner that learns return distributions which capture the uncertainty of action outcomes, and an adaptive algorithm that automatically tunes the level of sensitivity to the risk in the environment. The proposed planner achieves a more stable learning performance and converges to safer policies than a traditional RL based planner. Computational experiments demonstrate that comparing to a traditional RL based planner and classical local planning methods such as Artificial Potential Fields and the Bug Algorithm, the proposed planner is robust against environmental flows, and is able to plan trajectories that are superior in safety, time and energy consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google