2-Level Reinforcement Learning for Ships on Inland Waterways

要約

この論文では、深層強化学習 (DRL) に基づいて内陸水路 (IW) 上の自律水上車両 (ASV) を制御するための現実的なモジュール化フレームワークを提案します。
このフレームワークは、高レベルのローカル パス プランニング (LPP) ユニットと低レベルのパス追跡 (PF) ユニットの 2 つのレベルで構成され、それぞれが DRL エージェントで構成されます。
LPP エージェントは、近くの船舶、交通ルール、水路の形状を考慮して経路を計画する責任があります。
これにより、最近提案された時空間リカレント ニューラル ネットワーク アーキテクチャを連続アクション空間に移します。
LPP エージェントは、他の船舶までの最小距離を平均 65% 増加させることにより、最先端の人工ポテンシャル場法と比較して運航の安全性を向上させます。
PF エージェントは、浅海の影響や環境の力である風、波、流れを考慮しながら、低レベルのアクチュエータ制御を実行します。
比例・積分・微分 (PID) コントローラーと比較して、PF エージェントは平均クロストラック誤差の 61% しか発生させませんが、必要な絶対舵角の点で制御労力を大幅に軽減します。
最後に、ドイツ北部のエルベ下流域を例として使用し、実際の自動識別システム (AIS) の軌道を使用して他の船舶の挙動をモデル化して、両方のエージェントがシミュレーションで共同検証されます。

要約(オリジナル)

This paper proposes a realistic modularized framework for controlling autonomous surface vehicles (ASVs) on inland waterways (IWs) based on deep reinforcement learning (DRL). The framework comprises two levels: a high-level local path planning (LPP) unit and a low-level path following (PF) unit, each consisting of a DRL agent. The LPP agent is responsible for planning a path under consideration of nearby vessels, traffic rules, and the geometry of the waterway. We thereby transfer a recently proposed spatial-temporal recurrent neural network architecture to continuous action spaces. The LPP agent improves operational safety in comparison to a state-of-the-art artificial potential field method by increasing the minimum distance to other vessels by 65% on average. The PF agent performs low-level actuator control while accounting for shallow water influences and the environmental forces winds, waves, and currents. Compared with a proportional-integral-derivative (PID) controller, the PF agent yields only 61% of the mean cross-track error while significantly reducing control effort in terms of the required absolute rudder angle. Lastly, both agents are jointly validated in simulation, employing the lower Elbe in northern Germany as an example case and using real automatic identification system (AIS) trajectories to model the behavior of other ships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google