Interpretable and Efficient Data-driven Discovery and Control of Distributed Systems

要約

偏微分方程式 (PDE) によって制御されるシステムを効果的に制御することは、応用科学および工学のいくつかの分野で重要です。
これらのシステムは通常、非線形ダイナミクス、部分可観測性、離散化後の高次元性、分散性、および低遅延フィードバック制御の要件により、従来の制御スキームに重大な課題をもたらします。
強化学習 (RL)、特にディープ RL (DRL) は、このようなシステムの有望な制御パラダイムとして最近浮上しており、高次元の非線形ダイナミクスの管理において優れた機能を実証しています。
ただし、DRL は、サンプルの非効率性、堅牢性の問題、全体的な解釈可能性の欠如などの課題に直面しています。
これらの問題に対処するために、我々は、Sparse Identification of Nonlinear Dynamics with Control (SINDy-C) アルゴリズムとオートエンコーダー (AE) フレームワークを組み合わせた、データ効率が高く、解釈可能でスケーラブルな PDE 制御用の Dyna スタイルのモデルベース RL フレームワークを提案します。
PDE 状態とアクションの次元削減のため。
この新しいアプローチにより、迅速なロールアウトが可能になり、広範な環境インタラクションの必要性が軽減され、PDE 順ダイナミクスの解釈可能な潜在空間表現が提供されます。
流体の流れを記述する 2 つの偏微分方程式問題 (1D バーガース方程式と 2D ナビエ・ストークス方程式) でメソッドを検証し、モデルフリーのベースラインと比較し、学習されたダイナミクスの広範な解析を実行します。

要約(オリジナル)

Effectively controlling systems governed by Partial Differential Equations (PDEs) is crucial in several fields of Applied Sciences and Engineering. These systems usually yield significant challenges to conventional control schemes due to their nonlinear dynamics, partial observability, high-dimensionality once discretized, distributed nature, and the requirement for low-latency feedback control. Reinforcement Learning (RL), particularly Deep RL (DRL), has recently emerged as a promising control paradigm for such systems, demonstrating exceptional capabilities in managing high-dimensional, nonlinear dynamics. However, DRL faces challenges including sample inefficiency, robustness issues, and an overall lack of interpretability. To address these issues, we propose a data-efficient, interpretable, and scalable Dyna-style Model-Based RL framework for PDE control, combining the Sparse Identification of Nonlinear Dynamics with Control (SINDy-C) algorithm and an autoencoder (AE) framework for the sake of dimensionality reduction of PDE states and actions. This novel approach enables fast rollouts, reducing the need for extensive environment interactions, and provides an interpretable latent space representation of the PDE forward dynamics. We validate our method on two PDE problems describing fluid flows – namely, the 1D Burgers equation and 2D Navier-Stokes equations – comparing it against a model-free baseline, and carrying out an extensive analysis of the learned dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google