Deep Reinforcement Learning Based Tracking Control of an Autonomous Surface Vessel in Natural Waters

要約

環境の複雑なダイナミクスのために、自律型海洋ロボットの正確な制御は依然として課題となっています。
このホワイト ペーパーでは、深層強化学習 (DRL) アプローチを提案して、自律水上船舶 (ASV) 軌道追跡用のコントローラーをトレーニングし、その性能を実際の環境で高度な非線形モデル予測コントローラー (NMPC) と比較します。
環境外乱 (風、波、流れなど)、ノイズの多い測定値、および物理 ASV で提示される非理想的なアクチュエーターを考慮して、DRL 追跡制御ポリシーのいくつかの効果的な報酬関数が慎重に設計されています。
制御ポリシーは、さまざまな追跡軌跡と外乱を含むシミュレーション環境でトレーニングされました。
DRL コントローラーの性能は、モデルベースの環境擾乱を伴うシミュレーションと自然水域の両方で検証され、NMPC と比較されています。
シミュレーションでは、DRL コントローラーのトラッキング エラーが NMPC のトラッキング エラーよりも 53.33% 低いことが示されています。
実験結果はさらに、NMPC と比較して、DRL コントローラーのトラッキング エラーが 35.51% 低いことを示しており、DRL コントローラーが NMPC よりも河川環境でより優れた擾乱除去を提供することを示しています。

要約(オリジナル)

Accurate control of autonomous marine robots still poses challenges due to the complex dynamics of the environment. In this paper, we propose a Deep Reinforcement Learning (DRL) approach to train a controller for autonomous surface vessel (ASV) trajectory tracking and compare its performance with an advanced nonlinear model predictive controller (NMPC) in real environments. Taking into account environmental disturbances (e.g., wind, waves, and currents), noisy measurements, and non-ideal actuators presented in the physical ASV, several effective reward functions for DRL tracking control policies are carefully designed. The control policies were trained in a simulation environment with diverse tracking trajectories and disturbances. The performance of the DRL controller has been verified and compared with the NMPC in both simulations with model-based environmental disturbances and in natural waters. Simulations show that the DRL controller has 53.33% lower tracking error than that of NMPC. Experimental results further show that, compared to NMPC, the DRL controller has 35.51% lower tracking error, indicating that DRL controllers offer better disturbance rejection in river environments than NMPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google