Resolving Conflicting Constraints in Multi-Agent Reinforcement Learning with Layered Safety

要約

マルチロボットナビゲーションの衝突の防止は、展開に不可欠です。
この要件は、安全保証が不足しているため、マルチエージェント強化学習（MARL）などの学習ベースのアプローチの使用を妨げます。
到達可能性や制御バリア機能などの従来の制御方法は、相互作用が少数のロボットのみに制限されている場合、厳密な安全保証を提供できます。
ただし、さまざまなエージェントが直面する制約間の対立は、安全なマルチエージェント調整に課題をもたらします。
この課題を克服するために、MARLと安全フィルターを組み合わせることにより、複数の安全層を統合する方法を提案します。
まず、Marlは、複数のエージェント相互作用を最小限に抑える戦略を学習するために使用されます。
特に、エンゲージメント距離内で競合する制約をもたらす可能性が高い相互作用に焦点を当てます。
次に、エンゲージメント距離に入るエージェントの場合、最も緊急の是正措置を必要とするペアに優先順位を付けます。
最後に、専用の安全フィルターは、これらの競合を解決するための戦術的な是正措置を提供します。
重要なことに、このフレームワークのすべての層の設計上の決定は、到達可能性分析と制御障壁価値関数ベースのフィルタリングメカニズムに基づいています。
1）CrazyFlieドローンと2）高密度の高度な空中モビリティ（AAM）操作シナリオを使用した1）ハードウェア実験で、レイヤードセーフMARLフレームワークを検証します。
結果は、層状の安全性を組み込まないベースラインと比較して、多くの効率（つまり、移動時間と距離が短い）を犠牲にすることなく、安全性を維持しながら、この方法が競合を大幅に減らしていることを示しています。
プロジェクトWebサイトは、\ href {https://dinamo-mit.github.io/layered-safe-marl/} {[このhttps url]}で入手できます。

要約(オリジナル)

Preventing collisions in multi-robot navigation is crucial for deployment. This requirement hinders the use of learning-based approaches, such as multi-agent reinforcement learning (MARL), on their own due to their lack of safety guarantees. Traditional control methods, such as reachability and control barrier functions, can provide rigorous safety guarantees when interactions are limited only to a small number of robots. However, conflicts between the constraints faced by different agents pose a challenge to safe multi-agent coordination. To overcome this challenge, we propose a method that integrates multiple layers of safety by combining MARL with safety filters. First, MARL is used to learn strategies that minimize multiple agent interactions, where multiple indicates more than two. Particularly, we focus on interactions likely to result in conflicting constraints within the engagement distance. Next, for agents that enter the engagement distance, we prioritize pairs requiring the most urgent corrective actions. Finally, a dedicated safety filter provides tactical corrective actions to resolve these conflicts. Crucially, the design decisions for all layers of this framework are grounded in reachability analysis and a control barrier-value function-based filtering mechanism. We validate our Layered Safe MARL framework in 1) hardware experiments using Crazyflie drones and 2) high-density advanced aerial mobility (AAM) operation scenarios, where agents navigate to designated waypoints while avoiding collisions. The results show that our method significantly reduces conflict while maintaining safety without sacrificing much efficiency (i.e., shorter travel time and distance) compared to baselines that do not incorporate layered safety. The project website is available at \href{https://dinamo-mit.github.io/Layered-Safe-MARL/}{[this https URL]}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google