Controlgym: Large-Scale Control Environments for Benchmarking Reinforcement Learning Algorithms

要約

36 の産業用制御設定のライブラリである controlgym と、10 の無限次元偏微分方程式 (PDE) ベースの制御問題を紹介します。
OpenAI Gym/Gymnasium (Gym) フレームワーク内に統合された controlgym により、stable-baselines3 などの標準強化学習 (RL) アルゴリズムを直接適用できます。
当社の制御環境は、現実世界の制御アプリケーションによって動機付けられた、継続的で無制限のアクションおよび観察スペースを備えたジムの環境を補完します。
さらに、PDE 制御環境により、ユーザーは固有のダイナミクスを維持しながらシステムの状態次元を無限に拡張することができます。
この機能は、制御用の RL アルゴリズムのスケーラビリティを評価するために重要です。
このプロジェクトは、ラーニング フォー ダイナミクス & コントロール (L4DC) コミュニティにサービスを提供し、主要な質問を探ることを目的としています。学習制御ポリシーにおける RL アルゴリズムの収束。
学習ベースのコントローラーの安定性と堅牢性の問題。
そして、RL アルゴリズムの高次元システムおよび潜在的に無限次元システムへのスケーラビリティ。
https://github.com/xiangyuan-zhang/controlgym で controlgym プロジェクトをオープンソース化しています。

要約(オリジナル)

We introduce controlgym, a library of thirty-six industrial control settings, and ten infinite-dimensional partial differential equation (PDE)-based control problems. Integrated within the OpenAI Gym/Gymnasium (Gym) framework, controlgym allows direct applications of standard reinforcement learning (RL) algorithms like stable-baselines3. Our control environments complement those in Gym with continuous, unbounded action and observation spaces, motivated by real-world control applications. Moreover, the PDE control environments uniquely allow the users to extend the state dimensionality of the system to infinity while preserving the intrinsic dynamics. This feature is crucial for evaluating the scalability of RL algorithms for control. This project serves the learning for dynamics & control (L4DC) community, aiming to explore key questions: the convergence of RL algorithms in learning control policies; the stability and robustness issues of learning-based controllers; and the scalability of RL algorithms to high- and potentially infinite-dimensional systems. We open-source the controlgym project at https://github.com/xiangyuan-zhang/controlgym.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google