Learning Adaptive Safety for Multi-Agent Systems

要約

他のエージェントに関する情報が限られているため、動的なマルチエージェント システムで安全性を確保することは困難です。
コントロールバリア機能 (CBF) は安全性の保証に期待を示していますが、現在の手法では他のエージェントについて強い仮定があり、多くの場合、安全性、実現可能性、パフォーマンスのバランスをとるために手動調整に依存しています。
この研究では、CBF を使用したマルチエージェント システムの適応型安全学習の問題を詳しく掘り下げます。
緊急の動作が CBF 構成によってどのように大きな影響を受けるかを示し、CBF 設計への応答性と動的なアプローチの必要性を強調します。
我々は、ポリシーと CBF 係数の最適化を完全に自動化し、強化学習を通じて安全性と長期的なパフォーマンスを向上させる、新しい適応型安全 RL フレームワークである ASRL を紹介します。
他のエージェントと直接対話することで、ASRL はエージェントのさまざまな行動に対処する方法を学習し、コスト違反を望ましい制限未満に維持します。
私たちは、学習ベースおよび制御理論的なアプローチに対して、マルチロボット システムおよび競争力のあるマルチエージェント レーシング シナリオで ASRL を評価します。
私たちは、ASRL の有効性と柔軟性を実証し、配布外シナリオに対する一般化と拡張性を評価します。
コードと補足資料はオンラインで公開されています。

要約(オリジナル)

Ensuring safety in dynamic multi-agent systems is challenging due to limited information about the other agents. Control Barrier Functions (CBFs) are showing promise for safety assurance but current methods make strong assumptions about other agents and often rely on manual tuning to balance safety, feasibility, and performance. In this work, we delve into the problem of adaptive safe learning for multi-agent systems with CBF. We show how emergent behavior can be profoundly influenced by the CBF configuration, highlighting the necessity for a responsive and dynamic approach to CBF design. We present ASRL, a novel adaptive safe RL framework, to fully automate the optimization of policy and CBF coefficients, to enhance safety and long-term performance through reinforcement learning. By directly interacting with the other agents, ASRL learns to cope with diverse agent behaviours and maintains the cost violations below a desired limit. We evaluate ASRL in a multi-robot system and a competitive multi-agent racing scenario, against learning-based and control-theoretic approaches. We empirically demonstrate the efficacy and flexibility of ASRL, and assess generalization and scalability to out-of-distribution scenarios. Code and supplementary material are public online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google