IMP-MARL: a Suite of Environments for Large-scale Infrastructure Management Planning via MARL

要約

IMP-MARL は、大規模なインフラストラクチャ管理計画 (IMP) 向けのマルチエージェント強化学習 (MARL) 環境のオープンソース スイートであり、現実世界のエンジニアリング アプリケーションにおける協調的な MARL 手法のスケーラビリティをベンチマークするためのプラットフォームを提供します。
IMP では、複数のコンポーネントからなるエンジニアリング システムは、コンポーネントの損傷状態により障害が発生するリスクがあります。
具体的には、各エージェントは特定のシステム コンポーネントの検査と修理を計画し、システム障害のリスクを最小限に抑えるために協力しながら保守コストを最小限に抑えることを目指しています。
IMP-MARL では、持続可能で信頼性の高いエネルギー システムをサポートするための管理戦略を改善するという今日のニーズを満たすために、洋上風力構造システムに関連する環境を含むいくつかの環境をリリースしています。
最大 100 のエージェントを備えた IMP 実践的なエンジニアリング環境によってサポートされ、最先端の協調 MARL 手法のスケーラビリティとパフォーマンスを専門家ベースのヒューリスティック ポリシーと比較するベンチマーク キャンペーンを実施します。
その結果、分散型実行方法を使用した集中型トレーニングは、完全な集中型または分散型 RL アプローチよりもエージェントの数に応じて拡張性が高く、ほとんどの IMP 環境で専門家ベースのヒューリスティック ポリシーよりも優れたパフォーマンスを発揮することが明らかになりました。
私たちの調査結果に基づいて、将来の MARL 手法がまだ対処すべき残された協力とスケーラビリティの課題についても概説します。
IMP-MARL を通じて、新しい環境の実装と MARL メソッドのさらなる開発を奨励します。

要約(オリジナル)

We introduce IMP-MARL, an open-source suite of multi-agent reinforcement learning (MARL) environments for large-scale Infrastructure Management Planning (IMP), offering a platform for benchmarking the scalability of cooperative MARL methods in real-world engineering applications. In IMP, a multi-component engineering system is subject to a risk of failure due to its components’ damage condition. Specifically, each agent plans inspections and repairs for a specific system component, aiming to minimise maintenance costs while cooperating to minimise system failure risk. With IMP-MARL, we release several environments including one related to offshore wind structural systems, in an effort to meet today’s needs to improve management strategies to support sustainable and reliable energy systems. Supported by IMP practical engineering environments featuring up to 100 agents, we conduct a benchmark campaign, where the scalability and performance of state-of-the-art cooperative MARL methods are compared against expert-based heuristic policies. The results reveal that centralised training with decentralised execution methods scale better with the number of agents than fully centralised or decentralised RL approaches, while also outperforming expert-based heuristic policies in most IMP environments. Based on our findings, we additionally outline remaining cooperation and scalability challenges that future MARL methods should still address. Through IMP-MARL, we encourage the implementation of new environments and the further development of MARL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google