Toward 6-DOF Autonomous Underwater Vehicle Energy-Aware Position Control based on Deep Reinforcement Learning: Preliminary Results

要約

未開の未開発の水中地域の調査、マッピング、検査のための自律的な水中車両（AUV）の使用は、操縦性と電力効率がこれらのプラットフォームの使用を拡張するための重要な要素であり、6つの自由度（6-dof）を拡大する重要な役割を果たします。
ホロノミックプラットフォームの必須ツール。
これらのアプリケーションでは、比例積分誘導体（PID）およびモデル予測制御コントローラーが広く使用されていますが、しばしば正確なシステム知識を必要とし、ペイロードまたは構成の変更に直面したときに再現性と闘い、微調整に時間をかけることができます。
ディープ補強学習（DRL）に基づくより高度な方法が提案されていますが、通常、自由度の少ない程度で動作することに限定されています。
このペーパーでは、切り捨てられた分位批評家（TQC）アルゴリズムを使用してホロノミクス6-DOF AUVを制御するための新しいDRLベースのアプローチを提案します。これは、手動チューニングを必要とせず、構成の事前知識なしにスラスタにコマンドを直接供給します。
さらに、消費電力が報酬関数に直接組み込まれます。
シミュレーション結果は、TQC高性能法がゴールポイントに到達するときに微調整されたPIDコントローラーにより良いパフォーマンスを達成することを示していますが、TQCエネルギー認識方法はわずかに低いパフォーマンスを示しますが、平均で30％少ないパワーを消費します。

要約(オリジナル)

The use of autonomous underwater vehicles (AUVs) for surveying, mapping, and inspecting unexplored underwater areas plays a crucial role, where maneuverability and power efficiency are key factors for extending the use of these platforms, making six degrees of freedom (6-DOF) holonomic platforms essential tools. Although Proportional-Integral-Derivative (PID) and Model Predictive Control controllers are widely used in these applications, they often require accurate system knowledge, struggle with repeatability when facing payload or configuration changes, and can be time-consuming to fine-tune. While more advanced methods based on Deep Reinforcement Learning (DRL) have been proposed, they are typically limited to operating in fewer degrees of freedom. This paper proposes a novel DRL-based approach for controlling holonomic 6-DOF AUVs using the Truncated Quantile Critics (TQC) algorithm, which does not require manual tuning and directly feeds commands to the thrusters without prior knowledge of their configuration. Furthermore, it incorporates power consumption directly into the reward function. Simulation results show that the TQC High-Performance method achieves better performance to a fine-tuned PID controller when reaching a goal point, while the TQC Energy-Aware method demonstrates slightly lower performance but consumes 30% less power on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google