Evaluating Robustness of Reinforcement Learning Algorithms for Autonomous Shipping

要約

最近、海上の効率と安全性を向上させる可能性があるため、自律航行への関心が高まっています。
人工知能などの高度なテクノロジーを使用すると、自律航行における現在の航行および運用の課題に対処できます。
特に、内陸水路輸送 (IWT) には、混雑した水路や変動する環境条件など、特有の一連の課題があります。
このような動的な環境では、自律輸送ソリューションの信頼性と堅牢性が、安全な運航を確保するための重要な要素となります。
この論文では、自律輸送シミュレータ内で IWT 用に実装されたベンチマーク深層強化学習 (RL) アルゴリズムの堅牢性と、効果的な動作計画ポリシーを生成する機能を検証します。
モデルフリーのアプローチがシミュレーターで適切なポリシーを達成し、トレーニング中に遭遇したことのない港湾環境をうまくナビゲートできることを実証します。
私たちは特にソフト アクター クリティカル (SAC) に焦点を当てています。これは、最先端のモデルベースの RL アルゴリズムである MuZero と比較して、本質的に環境の外乱に対してより堅牢であることを示しています。
このペーパーでは、さまざまな船舶タイプに一般化でき、港湾および内陸の複雑な環境やシナリオに対応できる、堅牢で応用可能な RL フレームワークの開発に向けて重要な一歩を踏み出しました。

要約(オリジナル)

Recently, there has been growing interest in autonomous shipping due to its potential to improve maritime efficiency and safety. The use of advanced technologies, such as artificial intelligence, can address the current navigational and operational challenges in autonomous shipping. In particular, inland waterway transport (IWT) presents a unique set of challenges, such as crowded waterways and variable environmental conditions. In such dynamic settings, the reliability and robustness of autonomous shipping solutions are critical factors for ensuring safe operations. This paper examines the robustness of benchmark deep reinforcement learning (RL) algorithms, implemented for IWT within an autonomous shipping simulator, and their ability to generate effective motion planning policies. We demonstrate that a model-free approach can achieve an adequate policy in the simulator, successfully navigating port environments never encountered during training. We focus particularly on Soft-Actor Critic (SAC), which we show to be inherently more robust to environmental disturbances compared to MuZero, a state-of-the-art model-based RL algorithm. In this paper, we take a significant step towards developing robust, applied RL frameworks that can be generalized to various vessel types and navigate complex port- and inland environments and scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google