Model-based deep reinforcement learning for accelerated learning from flow simulations

要約

近年、閉ループフロー制御問題を解決する手法として深層強化学習が登場しました。
強化学習にシミュレーションベースの環境を採用すると、制御システムの先験的なエンドツーエンドの最適化が可能になり、セーフティクリティカルな制御アプリケーションに仮想テストベッドを提供し、制御メカニズムを深く理解できるようになります。
強化学習は多くのかなり単純なフロー制御ベンチマークに適用されて成功していますが、実際のアプリケーションにおける大きなボトルネックは、フロー シミュレーションの計算コストと所要時間の高さです。
この寄稿では、フロー制御アプリケーションに対するモデルベースの強化学習の利点を実証します。
具体的には、流れシミュレーションからサンプリングされた軌跡と環境モデルのアンサンブルからサンプリングされた軌跡を交互に使用してポリシーを最適化します。
モデルベースの学習により、流体ピンボール テスト ケースの全体的なトレーニング時間が最大 $85\%$ 削減されます。
より要求の厳しい流れシミュレーションでは、さらに大きな節約が期待されます。

要約(オリジナル)

In recent years, deep reinforcement learning has emerged as a technique to solve closed-loop flow control problems. Employing simulation-based environments in reinforcement learning enables a priori end-to-end optimization of the control system, provides a virtual testbed for safety-critical control applications, and allows to gain a deep understanding of the control mechanisms. While reinforcement learning has been applied successfully in a number of rather simple flow control benchmarks, a major bottleneck toward real-world applications is the high computational cost and turnaround time of flow simulations. In this contribution, we demonstrate the benefits of model-based reinforcement learning for flow control applications. Specifically, we optimize the policy by alternating between trajectories sampled from flow simulations and trajectories sampled from an ensemble of environment models. The model-based learning reduces the overall training time by up to $85\%$ for the fluidic pinball test case. Even larger savings are expected for more demanding flow simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google