MarineFormer: A Transformer-based Navigation Policy Model for Collision Avoidance in Marine Environment

要約

この研究では、強力な電流が流れる密集した海洋環境における無人水上飛行体 (USV) ナビゲーションの問題を調査します。
静的および動的障害物から生じる複雑さと、海流によって引き起こされる外乱力により、既存の航行プロトコルは安全性を確保し、海上での衝突を回避するには不十分です。
安全で効率的なロボット政策を学習するために、我々は、注意メカニズムを活用して、エージェントと静的障害物および移動障害物との異種相互作用や、時空環境からの流れの乱れを捕捉する新しい方法論を提案します。
特に、空間的に変化する海洋環境向けの Transformer ナビゲーション ポリシーである MarineFormer を使用して時間関数を改良し、強化学習 (RL) でエンドツーエンドでトレーニングしました。
MarineFormer は、トランスフォーマー アーキテクチャを備えた基本的な時空間グラフ アテンションを使用して、2D の乱流海洋条件をシミュレートする環境で空間アテンションと時間シーケンスを処理します。
リカレントモデルの安定性と学習速度を向上させるアーキテクチャの変更を提案します。
流れシミュレーションやセンサーから導出できる流速推定は、モデルフリーの RL フレームワークに組み込まれており、ロボットが激しい渦を含む高強度の電流領域に入ることを防ぎ、流れを利用して輸送を支援する可能性があります。
。
調査された 2D 海洋環境には、渦、シンク、ソースなどの流れの特異点が含まれており、洪水や海上雷雨に関連する基本的な平面流れパターンを表しています。
私たちが提案する方法は、電流の流れからの静的および動的障害物や外乱に対処するために、新しい報酬モデルを使用してトレーニングされています。

要約(オリジナル)

In this work, we investigate the problem of Unmanned Surface Vehicle (USV) navigation in a dense marine environment with a high-intensity current flow. The complexities arising from static and dynamic obstacles and the disturbance forces caused by current flow render existing navigation protocols inadequate for ensuring safety and avoiding collisions at sea. To learn a safe and efficient robot policy, we propose a novel methodology that leverages attention mechanisms to capture heterogeneous interactions of the agents with the static and moving obstacles and the flow disturbances from the environment in space and time. In particular, we refine a temporal function with MarineFormer, a Transformer navigation policy for spatially variable Marine environment, trained end-to-end with reinforcement learning (RL). MarineFormer uses foundational spatio-temporal graph attention with transformer architecture to process spatial attention and temporal sequences in an environment that simulates a 2D turbulent marine condition. We propose architectural modifications that improve the stability and learning speed of the recurrent models. The flow velocity estimation, which can be derived from flow simulations or sensors, is incorporated into a model-free RL framework to prevent the robot from entering into high-intensity current flow regions including intense vortices, while potentially leveraging the flow to assist in transportation. The investigated 2D marine environment encompasses flow singularities, including vortices, sinks, and sources, representing fundamental planar flow patterns associated with flood or maritime thunderstorms. Our proposed method is trained with a new reward model to deal with static and dynamic obstacles and disturbances from the current flow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google