Scalable Safe Multi-Agent Reinforcement Learning for Multi-Agent System

要約

安全性とスケーラビリティは、実用的なマルチエージェントシステム（MAS）が直面する2つの重要な課題です。
ただし、報酬形状のみに依存する既存のマルチエージェント補強学習（MARL）アルゴリズムは、安全性を確保するのに効果がありません。
これらの問題に対処するために、MARLメソッドの安全性とスケーラビリティを向上させるために、新しいフレームワーク、スケーラブルなSafe Marl（SS-Marl）を提案します。
MASの固有のグラフ構造を活用すると、さまざまなサイズのローカル観測と通信を集約するために、マルチレイヤーメッセージの通過ネットワークを設計します。
さらに、安全性を向上させるために、局所観察の設定で制約された共同政策最適化方法を開発します。
シミュレーション実験は、SS-MARLがベースラインと比較して最適性と安全性の間でより良いトレードオフを達成し、そのスケーラビリティが多くのエージェントとシナリオの最新の方法を大幅に上回ることを示しています。
私たちの方法の実現可能性は、Mecanum輪の車両を使用したハードウェアの実装によっても検証されています。

要約(オリジナル)

Safety and scalability are two critical challenges faced by practical Multi-Agent Systems (MAS). However, existing Multi-Agent Reinforcement Learning (MARL) algorithms that rely solely on reward shaping are ineffective in ensuring safety, and their scalability is rather limited due to the fixed-size network output. To address these issues, we propose a novel framework, Scalable Safe MARL (SS-MARL), to enhance the safety and scalability of MARL methods. Leveraging the inherent graph structure of MAS, we design a multi-layer message passing network to aggregate local observations and communications of varying sizes. Furthermore, we develop a constrained joint policy optimization method in the setting of local observation to improve safety. Simulation experiments demonstrate that SS-MARL achieves a better trade-off between optimality and safety compared to baselines, and its scalability significantly outperforms the latest methods in scenarios with a large number of agents. The feasibility of our method is also verified by hardware implementation with Mecanum-wheeled vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google