Object Manipulation in Marine Environments using Reinforcement Learning

要約

海事領域で介入タスクを実行することは、安全性と運用効率にとって非常に重要です。
予測不可能でダイナミックな海洋環境により、物体の操作などの介入タスクは非常に困難になります。
この研究では、海の波によって引き起こされる外乱が存在する場合に、ドックからオブジェクトを操作するための堅牢なソリューションを提案します。
この困難な問題に取り組むために、Soft と呼ばれる深層強化学習 (DRL) ベースのアルゴリズムを適用します。
俳優兼批評家（SAC）。
SAC は行為者と批評家の枠組みを採用しています。
アクターは目的関数を最小化するポリシーを学習し、批評家は学習したポリシーを評価し、アクターの学習プロセスを導くためのフィードバックを提供します。
PyBullet 動的シミュレーターを使用してエージェントをトレーニングし、MBZIRC 海洋シミュレーターと呼ばれる現実的なシミュレーション環境でテストしました。
このシミュレータを使用すると、世界気象機関 (WMO) の海洋状態コードに従って、さまざまな波の状態をシミュレーションできます。
シミュレーション結果は、ドックからオブジェクトを取得する際の高い成功率を示しています。
WMO 海況コードに従って、海況 2 によって特徴付けられる波が存在するシミュレーション環境に適用した場合、訓練を受けたエージェントは 80% の成功率を達成しました。

要約(オリジナル)

Performing intervention tasks in the maritime domain is crucial for safety and operational efficiency. The unpredictable and dynamic marine environment makes the intervention tasks such as object manipulation extremely challenging. This study proposes a robust solution for object manipulation from a dock in the presence of disturbances caused by sea waves. To tackle this challenging problem, we apply a deep reinforcement learning (DRL) based algorithm called Soft. Actor-Critic (SAC). SAC employs an actor-critic framework; the actors learn a policy that minimizes an objective function while the critic evaluates the learned policy and provides feedback to guide the actor-learning process. We trained the agent using the PyBullet dynamic simulator and tested it in a realistic simulation environment called MBZIRC maritime simulator. This simulator allows the simulation of different wave conditions according to the World Meteorological Organization (WMO) sea state code. Simulation results demonstrate a high success rate in retrieving the objects from the dock. The trained agent achieved an 80 percent success rate when applied in the simulation environment in the presence of waves characterized by sea state 2, according to the WMO sea state code

arxiv情報

提供元, 利用サービス

arxiv.jp, Google