Learning Agile Swimming: An End-to-End Approach without CPGs

要約

機敏で効率的な水中ロボット、特に生物模倣ロボット魚の追求は、その流体力学的能力を最大限に活用できるモーションコントローラーを作成する際の課題によって妨げられてきました。
この論文では、深層強化学習 (DRL) を活用してロボット魚の機敏でエネルギー効率の高い水泳を可能にする、新しいモデルフリーのエンドツーエンド制御フレームワークを導入することで、これらの課題に対処します。
セントラル パターン ジェネレーター (CPG) のような事前定義された三角関数の遊泳パターンに依存する既存の方法とは異なり、私たちのアプローチは、強い制約なしで低レベルのアクチュエーター コマンドを直接出力するため、ロボットの魚が機敏な遊泳行動を学習できるようになります。
さらに、高性能の数値流体力学 (CFD) シミュレーターと、正規化密度キャリブレーションやサーボ応答キャリブレーションなどの革新的なシミュレーションとリアルの戦略を統合することにより、提案されたフレームワークはシミュレーションとリアルのギャップを大幅に軽減し、直接的なシミュレーションを容易にします。
微調整を行わずに制御ポリシーを現実世界の環境に移行します。
比較実験により、私たちの方法は、最先端の水泳コントローラーと比較して、より速い水泳速度、より小さな回転半径、および削減されたエネルギー消費を達成することが実証されています。
さらに、提案されたフレームワークは、複雑なタスクに対処する上で有望であることを示しており、実際の水生環境におけるロボット魚のより効果的な展開への道を開きます。

要約(オリジナル)

The pursuit of agile and efficient underwater robots, especially bio-mimetic robotic fish, has been impeded by challenges in creating motion controllers that are able to fully exploit their hydrodynamic capabilities. This paper addresses these challenges by introducing a novel, model-free, end-to-end control framework that leverages Deep Reinforcement Learning (DRL) to enable agile and energy-efficient swimming of robotic fish. Unlike existing methods that rely on predefined trigonometric swimming patterns like Central Pattern Generators (CPG), our approach directly outputs low-level actuator commands without strong constraints, enabling the robotic fish to learn agile swimming behaviors. In addition, by integrating a high-performance Computational Fluid Dynamics (CFD) simulator with innovative sim-to-real strategies, such as normalized density calibration and servo response calibration, the proposed framework significantly mitigates the sim-to-real gap, facilitating direct transfer of control policies to real-world environments without fine-tuning. Comparative experiments demonstrate that our method achieves faster swimming speeds, smaller turn-around radii, and reduced energy consumption compared to the state-of-the-art swimming controllers. Furthermore, the proposed framework shows promise in addressing complex tasks, paving the way for more effective deployment of robotic fish in real aquatic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google