Learning swimming via deep reinforcement learning

要約

人々は何十年もの間、低エネルギーコストで水中での推進力を実現できる魚のような羽ばたき運動を模索してきました。
羽ばたく体の周りの非定常流れ場の複雑さが、この問題を非常に困難にしています。
初期の研究では、動作パターンは通常、動作空間全体の小さなサブドメインで次の最適化プロセスを制約する特定の周期関数として規定されていました。
この研究では、この動きの制約を回避するために、変分オートエンコーダ (VAE) がさまざまな羽ばたきの動きを単純なアクション ベクトルに圧縮するように設計されています。
次に、翼の羽ばたきを水トンネル環境と継続的に相互作用させ、強化学習 (RL) フレームワークを通じてそれに応じてその動作を調整します。
この自動閉ループ実験により、同じ推力レベルでの純粋な調和運動と比較して、高い流体力学的効率をもたらす可能性のあるいくつかの運動パターンが得られます。
そして、数多くの試行錯誤の後、現在の実験における RL トレーニングは常に調和運動に近い運動パターンに収束することがわかりました。
言い換えれば、現在の研究は、適切な振幅と周波数を備えた調和運動が、効率的な水中推進にとって常に最適な選択であることを証明しています。
さらに、ここで提案されている RL フレームワークは、他の複雑な水泳問題の研究にも拡張でき、本物の魚のように泳ぐロボット魚の作成への道が開かれる可能性があります。

要約(オリジナル)

For decades, people have been seeking for fishlike flapping motions that can realize underwater propulsion with low energy cost. Complexity of the nonstationary flow field around the flapping body makes this problem very difficult. In earlier studies, motion patterns are usually prescribed as certain periodic functions which constrains the following optimization process in a small subdomain of the whole motion space. In this work, to avoid this motion constraint, a variational autoencoder (VAE) is designed to compress various flapping motions into a simple action vector. Then we let a flapping airfoil continuously interact with water tunnel environment and adjust its action accordingly through a reinforcement learning (RL) framework. By this automatic close-looped experiment, we obtain several motion patterns that can result in high hydrodynamic efficiency comparing to pure harmonic motions with the same thrust level. And we find that, after numerous trials and errors, RL trainings in current experiment always converge to motion patterns that are close to harmonic motions. In other words, current work proves that harmonic motion with appropriate amplitude and frequency is always an optimal choice for efficient underwater propulsion. Furthermore, the RL framework proposed here can be also extended to the study of other complex swimming problems, which might pave the way for the creation of a robotic fish that can swim like a real fish.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google