Enhancing Efficiency and Propulsion in Bio-mimetic Robotic Fish through End-to-End Deep Reinforcement Learning

要約

水生生物は、低エネルギー消費により効率的な推進力を生み出す能力で知られています。
既存の研究は、水中ロボット工学のエネルギーコストを削減するためにバイオ風の構造を活用しようとしてきましたが、効率の向上における制御ポリシーの重要な役割はしばしば見落とされています。
この研究では、推進効率を最大化し、エネルギー消費を最小限に抑えるために、ディープ補強学習（DRL）を使用して、バイオ模倣ロボット魚の動きを最適化します。
私たちの新しいDRLアプローチには、拡張圧力認識、観測の変圧器モデル処理シーケンス、およびポリシー転送スキームが組み込まれています。
特に、私たちのアプローチ内でのトレーニングの安定性と速度が大幅に改善され、ロボット魚のエンドツーエンドのトレーニングが可能になります。
これにより、流体力学的環境に対するアジラーの応答が可能になり、事前に定義されたモーションパターンコントロールと比較して、より大きな最適化の可能性があります。
私たちの実験は、コンピューティング流体ダイナミクス（CFD）シミュレーションを使用して、レイノルズ数の6000の数がある自由なストリームで連続的に接続された剛性ロボット魚で行われます。
DRLトレーニングを受けたポリシーは、印象的な結果をもたらし、高い効率と推進の両方を示しています。
また、このポリシーは、エージェントの具体化を紹介し、その身体構造を巧みに利用し、フロー分析を通じて明らかにされるように、周囲の流体のダイナミクスに関与します。
この研究は、DRLトレーニングを通じて生体模倣水中ロボットの最適化に関する貴重な洞察を提供し、構造的な利点を活用し、最終的にはより効率的な水中推進システムに貢献します。

要約(オリジナル)

Aquatic organisms are known for their ability to generate efficient propulsion with low energy expenditure. While existing research has sought to leverage bio-inspired structures to reduce energy costs in underwater robotics, the crucial role of control policies in enhancing efficiency has often been overlooked. In this study, we optimize the motion of a bio-mimetic robotic fish using deep reinforcement learning (DRL) to maximize propulsion efficiency and minimize energy consumption. Our novel DRL approach incorporates extended pressure perception, a transformer model processing sequences of observations, and a policy transfer scheme. Notably, significantly improved training stability and speed within our approach allow for end-to-end training of the robotic fish. This enables agiler responses to hydrodynamic environments and possesses greater optimization potential compared to pre-defined motion pattern controls. Our experiments are conducted on a serially connected rigid robotic fish in a free stream with a Reynolds number of 6000 using computational fluid dynamics (CFD) simulations. The DRL-trained policies yield impressive results, demonstrating both high efficiency and propulsion. The policies also showcase the agent’s embodiment, skillfully utilizing its body structure and engaging with surrounding fluid dynamics, as revealed through flow analysis. This study provides valuable insights into the bio-mimetic underwater robots optimization through DRL training, capitalizing on their structural advantages, and ultimately contributing to more efficient underwater propulsion systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google