Spatial-Temporal-Aware Safe Multi-Agent Reinforcement Learning of Connected Autonomous Vehicles in Challenging Scenarios

要約

通信技術により、コネクテッド カーと自動運転車 (CAV) 間の調整が可能になります。
しかし、動的で複雑な運転シナリオにおいて、CAV システムの安全性と効率を向上させるために共有情報をどのように利用するかは不明のままです。
この作業では、接続されていない危険な車両を含む困難な運転シナリオで、CAV 用の並列セーフティ シールドを備えた制約付きマルチエージェント強化学習 (MARL) のフレームワークを提案します。
提案された MARL の調整メカニズムには、エージェントの環境認識を強化する時空間エンコーダーとしてグラフ畳み込みネットワーク (GCN) トランスフォーマーを使用した、情報共有と協調ポリシー学習が含まれます。
Control Barrier Functions (CBF) ベースの安全性チェックを備えた Safety Shield モジュールは、エージェントが危険な行動を起こすのを防ぎます。
CAV の安全で協調的なポリシーをトレーニングするために、制約付きマルチエージェント アドバンテージ アクター クリティック (CMAA2C​​) アルゴリズムを設計します。
CARLA シミュレーターに展開された実験を使用して、接続されていない危険車両を使用したいくつかの困難なシナリオでの比較実験により、安全チェック、時空間エンコーダー、およびこの方法で設計された調整メカニズムのパフォーマンスを検証します。
結果は、提案された方法論が、困難なシナリオでシステムの安全性と効率を大幅に向上させることを示しています。

要約(オリジナル)

Communication technologies enable coordination among connected and autonomous vehicles (CAVs). However, it remains unclear how to utilize shared information to improve the safety and efficiency of the CAV system in dynamic and complicated driving scenarios. In this work, we propose a framework of constrained multi-agent reinforcement learning (MARL) with a parallel Safety Shield for CAVs in challenging driving scenarios that includes unconnected hazard vehicles. The coordination mechanisms of the proposed MARL include information sharing and cooperative policy learning, with Graph Convolutional Network (GCN)-Transformer as a spatial-temporal encoder that enhances the agent’s environment awareness. The Safety Shield module with Control Barrier Functions (CBF)-based safety checking protects the agents from taking unsafe actions. We design a constrained multi-agent advantage actor-critic (CMAA2C) algorithm to train safe and cooperative policies for CAVs. With the experiment deployed in the CARLA simulator, we verify the performance of the safety checking, spatial-temporal encoder, and coordination mechanisms designed in our method by comparative experiments in several challenging scenarios with unconnected hazard vehicles. Results show that our proposed methodology significantly increases system safety and efficiency in challenging scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google