A Deep Reinforcement Learning Framework and Methodology for Reducing the Sim-to-Real Gap in ASV Navigation

要約

Autonomous Surface Vehicle (ASV) 向けの深層強化学習 (DRL) の採用が増加しているにもかかわらず、現実世界への展開を制限する課題は依然として残っています。
この論文では、まず浮力モデルと流体力学モデルを最新の強化学習フレームワークに統合して、トレーニング時間を短縮します。
次に、システム識別とドメインのランダム化がどのように RL エージェントのパフォーマンスを向上させ、シミュレーションと実際のギャップを狭めるかを示します。
浮遊廃棄物を捕捉するタスクに関する実際の実験では、私たちのアプローチによりエネルギー消費量が 13.1\% 削減され、タスク完了時間が 7.4\% 短縮されることが示されています。
これらの発見は、オープンソース実装の共有によって裏付けられており、ASV の効率と汎用性に影響を与え、環境保全の取り組みに貢献する可能性を秘めています。

要約(オリジナル)

Despite the increasing adoption of Deep Reinforcement Learning (DRL) for Autonomous Surface Vehicles (ASVs), there still remain challenges limiting real-world deployment. In this paper, we first integrate buoyancy and hydrodynamics models into a modern Reinforcement Learning framework to reduce training time. Next, we show how system identification coupled with domain randomization improves the RL agent performance and narrows the sim-to-real gap. Real-world experiments for the task of capturing floating waste show that our approach lowers energy consumption by 13.1\% while reducing task completion time by 7.4\%. These findings, supported by sharing our open-source implementation, hold the potential to impact the efficiency and versatility of ASVs, contributing to environmental conservation efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google