MarineGym: Accelerated Training for Underwater Vehicles with High-Fidelity RL Simulation

要約

強化学習 (RL) は有望なソリューションであり、無人水中探査機 (UUV) が試行錯誤を通じて最適な動作を学習できるようになります。
ただし、既存のシミュレータには RL 手法との効率的な統合が不足しており、トレーニングのスケーラビリティとパフォーマンスが制限されています。
このペーパーでは、GPU アクセラレーションを利用して UUV の RL トレーニング効率を高めるように設計された新しいシミュレーション フレームワークである MarineGym を紹介します。
MarineGym は、単一 GPU でのリアルタイム シミュレーションと比較して 10,000 倍のパフォーマンス向上を実現し、複数の水中タスクにわたる RL アルゴリズムの迅速なトレーニングを可能にします。
主な機能には、UUV の現実的な動的モデリング、並列環境の実行、PyTorch や TorchRL などの一般的な RL フレームワークとの互換性が含まれます。
このフレームワークは、ステーション キーピング、サークル トラッキング、ヘリカル トラッキング、レムニスケート トラッキングという 4 つの異なるタスクを通じて検証されます。
このフレームワークは、水中ロボット工学における RL を進歩させ、複雑で動的な環境での効率的なトレーニングを促進するための準備を整えます。

要約(オリジナル)

Reinforcement Learning (RL) is a promising solution, allowing Unmanned Underwater Vehicles (UUVs) to learn optimal behaviors through trial and error. However, existing simulators lack efficient integration with RL methods, limiting training scalability and performance. This paper introduces MarineGym, a novel simulation framework designed to enhance RL training efficiency for UUVs by utilizing GPU acceleration. MarineGym offers a 10,000-fold performance improvement over real-time simulation on a single GPU, enabling rapid training of RL algorithms across multiple underwater tasks. Key features include realistic dynamic modeling of UUVs, parallel environment execution, and compatibility with popular RL frameworks like PyTorch and TorchRL. The framework is validated through four distinct tasks: station-keeping, circle tracking, helical tracking, and lemniscate tracking. This framework sets the stage for advancing RL in underwater robotics and facilitating efficient training in complex, dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google