Deep reinforcement learning for tracking a moving target in jellyfish-like swimming

要約

私たちは、二次元の流れの中で動くターゲットを効果的に追跡するクラゲのような泳ぎ者を訓練するための深層強化学習手法を開発しました。
このスイマーは、ねじりバネをベースとした筋肉モデルを備えた柔軟なオブジェクトです。
私たちは、スイマーの形状と動的パラメーターを入力として受け取り、スイマーに加えられる力であるアクションを出力するディープ Q ネットワーク (DQN) を採用しています。
特に、複雑な流体と構造の相互作用による干渉を軽減するための作用規制を導入します。
これらのアクションの目標は、スイマーを最短時間でターゲット ポイントまでナビゲートすることです。
DQN トレーニングでは、浸漬境界法を用いたシミュレーションにより選手の動作データを取得します。
移動するターゲットを追跡している間、放出渦と水泳者自身の運動との間の流体力学的相互作用により、力の適用とそれに対応する水泳者の体の反応の間に固有の遅延が生じます。
私たちのテストは、DQN エージェントとアクション規制を備えた水泳選手が、瞬間的な状態に基づいてコースを動的に調整できることを示しています。
この研究により、流体環境内の柔軟なオブジェクトの制御における機械学習の適用範囲が拡張されます。

要約(オリジナル)

We develop a deep reinforcement learning method for training a jellyfish-like swimmer to effectively track a moving target in a two-dimensional flow. This swimmer is a flexible object equipped with a muscle model based on torsional springs. We employ a deep Q-network (DQN) that takes the swimmer’s geometry and dynamic parameters as inputs, and outputs actions which are the forces applied to the swimmer. In particular, we introduce an action regulation to mitigate the interference from complex fluid-structure interactions. The goal of these actions is to navigate the swimmer to a target point in the shortest possible time. In the DQN training, the data on the swimmer’s motions are obtained from simulations conducted using the immersed boundary method. During tracking a moving target, there is an inherent delay between the application of forces and the corresponding response of the swimmer’s body due to hydrodynamic interactions between the shedding vortices and the swimmer’s own locomotion. Our tests demonstrate that the swimmer, with the DQN agent and action regulation, is able to dynamically adjust its course based on its instantaneous state. This work extends the application scope of machine learning in controlling flexible objects within fluid environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google