Decentralized Multi-Robot Navigation for Autonomous Surface Vehicles with Distributional Reinforcement Learning

要約

近年、海上衝突防止国際規則条約（COLREG）に準拠した自律水上車両（ASV）用の衝突回避アルゴリズムが提案されています。
ただし、複数の ASV が静止障害物や強い流れの存在下で航行している混雑した水域では、複雑な相互作用により COLREG を追跡することが困難で安全でない可能性があります。
この問題に対処するために、我々は、ASV 間の相互作用だけでなく、静的な障害物や電流の流れとの相互作用も考慮する、分布強化学習に基づいた分散型マルチ ASV 衝突回避ポリシーを提案します。
提案された分布型 RL ベースのポリシーのパフォーマンスを、従来の RL ベースのポリシーおよび 2 つの古典的な手法である人工ポテンシャル フィールド (APF) と逆速度障害 (RVO) に対してシミュレーション実験で評価しました。提案されたポリシーが優れたパフォーマンスを達成することが示されました。
移動時間とエネルギーを最小限に抑えながら、ナビゲーションの安全性を確保します。
リスク感度を自動的に適応させるフレームワークの変形例も、非常に混雑した環境における ASV の安全性を向上させることが実証されています。

要約(オリジナル)

Collision avoidance algorithms for Autonomous Surface Vehicles (ASV) that follow the Convention on the International Regulations for Preventing Collisions at Sea (COLREGs) have been proposed in recent years. However, it may be difficult and unsafe to follow COLREGs in congested waters, where multiple ASVs are navigating in the presence of static obstacles and strong currents, due to the complex interactions. To address this problem, we propose a decentralized multi-ASV collision avoidance policy based on Distributional Reinforcement Learning, which considers the interactions among ASVs as well as with static obstacles and current flows. We evaluate the performance of the proposed Distributional RL based policy against a traditional RL-based policy and two classical methods, Artificial Potential Fields (APF) and Reciprocal Velocity Obstacles (RVO), in simulation experiments, which show that the proposed policy achieves superior performance in navigation safety, while requiring minimal travel time and energy. A variant of our framework that automatically adapts its risk sensitivity is also demonstrated to improve ASV safety in highly congested environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google