Learning swimming via deep reinforcement learning

要約

何十年もの間、人々は低エネルギーコストで水中推進を実現できる魚のような羽ばたき運動を求めてきました。
羽ばたき体の周りの非定常流れ場の複雑さは、この問題を非常に困難にします。
以前の研究では、モーション パターンは通常、モーション空間全体の小さなサブドメインで次の最適化プロセスを制約する特定の周期関数として規定されていました。
この作業では、このモーションの制約を回避するために、さまざまな羽ばたきモーションを単純なアクション ベクトルに圧縮する変分オートエンコーダ (VAE) が設計されています。
次に、羽ばたき翼を水トンネル環境と継続的に相互作用させ、強化学習 (RL) フレームワークを介してそれに応じてその動作を調整します。
この自動閉ループ実験により、同じ推力レベルの純粋な調和運動と比較して、高い流体力学的効率をもたらすことができるいくつかの運動パターンが得られます。
そして、多くの試行錯誤の末、現在の実験での RL トレーニングは常に調和運動に近い運動パターンに収束することがわかりました。
言い換えれば、現在の研究は、適切な振幅と周波数を持つ調和運動が、効率的な水中推進にとって常に最適な選択であることを証明しています。
さらに、ここで提案されている RL フレームワークは、他の複雑な水泳の問題の研究にも拡張できます。これにより、本物の魚のように泳ぐロボット魚の作成への道が開かれる可能性があります。

要約(オリジナル)

For decades, people have been seeking for fishlike flapping motions that can realize underwater propulsion with low energy cost. Complexity of the nonstationary flow field around the flapping body makes this problem very difficult. In earlier studies, motion patterns are usually prescribed as certain periodic functions which constrains the following optimization process in a small subdomain of the whole motion space. In this work, to avoid this motion constraint, a variational autoencoder (VAE) is designed to compress various flapping motions into a simple action vector. Then we let a flapping airfoil continuously interact with water tunnel environment and adjust its action accordingly through a reinforcement learning (RL) framework. By this automatic close-looped experiment, we obtain several motion patterns that can result in high hydrodynamic efficiency comparing to pure harmonic motions with the same thrust level. And we find that, after numerous trials and errors, RL trainings in current experiment always converge to motion patterns that are close to harmonic motions. In other words, current work proves that harmonic motion with appropriate amplitude and frequency is always an optimal choice for efficient underwater propulsion. Furthermore, the RL framework proposed here can be also extended to the study of other complex swimming problems, which might pave the way for the creation of a robotic fish that can swim like a real fish.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google