Effective control of two-dimensional Rayleigh–Bénard convection: invariant multi-agent reinforcement learning is all you need

要約

タイトル：Rayleigh-Bénard convection（RBC）の有効な制御：不変のマルチエージェント強化学習が必要なもの

要約：
– RBCは、いくつかの産業や地球科学の流れで再発する現象であり、基本的な流体力学的観点からよく研究されたシステム。
– しかし、例えばカノニカルなRBC設定で底板加熱の空間分布を調整することによって、RBCをコントロールすることは、古典的な制御理論の方法にとって依然として難しいトピックである。
– 本研究では、RBCの制御に深層強化学習（DRL）を適用している。 RBCの内在的な局所性と平行移不変性を活用した不変のマルチエージェント強化学習（MARL）を活用することで、効果的なRBC制御が可能であることを示している。
– RBCに適用されたMARLフレームワークは、DRLアクションサイズ次元を単純に増やすことによって生じる次元の呪いに遭遇しないようにすることができる。MARLは、RBCのさまざまな領域で生成された知識を再利用することができるため、これが可能となっている。
– 事例研究により、MARL DRLが、自発的なRBCダブルセルパターンを不安定化させ、隣接する対流セルを合体させてRBCのトポロジーを変化させ、その結果得られた合体したセルを活発に制御して新しい安定状態に導く高度な制御戦略を発見できることを示した。
– この変更された流れ構成は、いくつかの産業プロセスにおいて有益である低コンベクション熱転送をもたらす。したがって、本研究は、大規模なRBCシステムを制御するためのMARL DRLの可能性を示すと同時に、RBC構成を異なるトポロジー構成間で移動させる戦略を発見するDRLの可能性を示す。
– これらの結果は、RBCの固有の特性をさらに理解するためだけでなく、産業アプリケーションの開発にも有用である。

要約(オリジナル)

Rayleigh-B\’enard convection (RBC) is a recurrent phenomenon in several industrial and geoscience flows and a well-studied system from a fundamental fluid-mechanics viewpoint. However, controlling RBC, for example by modulating the spatial distribution of the bottom-plate heating in the canonical RBC configuration, remains a challenging topic for classical control-theory methods. In the present work, we apply deep reinforcement learning (DRL) for controlling RBC. We show that effective RBC control can be obtained by leveraging invariant multi-agent reinforcement learning (MARL), which takes advantage of the locality and translational invariance inherent to RBC flows inside wide channels. The MARL framework applied to RBC allows for an increase in the number of control segments without encountering the curse of dimensionality that would result from a naive increase in the DRL action-size dimension. This is made possible by the MARL ability for re-using the knowledge generated in different parts of the RBC domain. We show in a case study that MARL DRL is able to discover an advanced control strategy that destabilizes the spontaneous RBC double-cell pattern, changes the topology of RBC by coalescing adjacent convection cells, and actively controls the resulting coalesced cell to bring it to a new stable configuration. This modified flow configuration results in reduced convective heat transfer, which is beneficial in several industrial processes. Therefore, our work both shows the potential of MARL DRL for controlling large RBC systems, as well as demonstrates the possibility for DRL to discover strategies that move the RBC configuration between different topological configurations, yielding desirable heat-transfer characteristics. These results are useful for both gaining further understanding of the intrinsic properties of RBC, as well as for developing industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI