Physics-Guided Actor-Critic Reinforcement Learning for Swimming in Turbulence

要約

乱流拡散により、近くに配置された粒子が分離します。
私たちは、受動的に移流される粒子の近くに粒子を維持するために必要な遊泳努力を調査します。
私たちは、新しい物理情報に基づく強化学習 (PIRL) 戦略を開発し、所定の制御 (PC) および標準の物理に依存しない強化学習戦略と比較することにより、これらの取り組みと意図した目標の最適なバランスを探ります。
Actor-Physicist と名付けられた私たちの PIRL スキームは、Actor-Critic アルゴリズムを適応させたもので、ニューラル ネットワークでパラメーター化された Critic が、分析的に導出された物理ヒューリスティック関数 (物理学者) に置き換えられます。
次に、この戦略は、確率的最適制御定式化および標準の物理学に依存しない Actor-Critic タイプのアルゴリズムから導出された、分析的に計算された最適 PC ポリシーと比較されます。

要約(オリジナル)

Turbulent diffusion causes particles placed in proximity to separate. We investigate the required swimming efforts to maintain a particle close to its passively advected counterpart. We explore optimally balancing these efforts with the intended goal by developing and comparing a novel Physics-Informed Reinforcement Learning (PIRL) strategy with prescribed control (PC) and standard physics-agnostic Reinforcement Learning strategies. Our PIRL scheme, coined the Actor-Physicist, is an adaptation of the Actor-Critic algorithm in which the Neural Network parameterized Critic is replaced with an analytically derived physical heuristic function (the physicist). This strategy is then compared with an analytically computed optimal PC policy derived from a stochastic optimal control formulation and standard physics-agnostic Actor-Critic type algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google