Safety Aware Autonomous Path Planning Using Model Predictive Reinforcement Learning for Inland Waterways

要約

近年、自動車やトラックを都市の中心部から遠ざける傾向により、都市水路における自動輸送への関心が大幅に高まっています。
フレネ フレーム ベースの計画や潜在フィールド ナビゲーションなどの古典的なアプローチでは、多くの構成パラメータの調整が必要になることが多く、場合によっては状況に応じて異なる構成が必要になることもあります。
この論文では、モデル予測強化学習 (MPRL) と呼ばれる強化学習に基づく新しい経路計画アプローチを提案します。
MPRL は、船舶がたどる一連のウェイポイントを計算します。
環境は占有グリッド マップとして表現されるため、あらゆる形状の水路やあらゆる数と形状の障害物に対処できます。
2 つのシナリオでアプローチを実証し、結果として得られるパスを、フレネット フレームを使用したパス プランニングと、近接ポリシー最適化 (PPO) エージェントに基づくパス プランニングと比較します。
私たちの結果は、MPRL が両方のテスト シナリオで両方のベースラインを上回るパフォーマンスを示していることを示しています。
PPO ベースのアプローチはどちらのシナリオでもゴールに到達できませんでしたが、フレネ フレーム アプローチは障害物のあるコーナーで構成されるシナリオで失敗しました。
MPRL は、両方のテスト シナリオで安全に (衝突することなく) ゴールに到達することができました。

要約(オリジナル)

In recent years, interest in autonomous shipping in urban waterways has increased significantly due to the trend of keeping cars and trucks out of city centers. Classical approaches such as Frenet frame based planning and potential field navigation often require tuning of many configuration parameters and sometimes even require a different configuration depending on the situation. In this paper, we propose a novel path planning approach based on reinforcement learning called Model Predictive Reinforcement Learning (MPRL). MPRL calculates a series of waypoints for the vessel to follow. The environment is represented as an occupancy grid map, allowing us to deal with any shape of waterway and any number and shape of obstacles. We demonstrate our approach on two scenarios and compare the resulting path with path planning using a Frenet frame and path planning based on a proximal policy optimization (PPO) agent. Our results show that MPRL outperforms both baselines in both test scenarios. The PPO based approach was not able to reach the goal in either scenario while the Frenet frame approach failed in the scenario consisting of a corner with obstacles. MPRL was able to safely (collision free) navigate to the goal in both of the test scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google