Agent-Agnostic Centralized Training for Decentralized Multi-Agent Cooperative Driving

要約

自律走行車によるアクティブな交通管理は、渋滞の緩和と交通流の改善の可能性を提供する。しかし、実際のシナリオに有効なアルゴリズムを開発するには、無限地平交通流と部分的観測可能性に関する課題を克服する必要がある。これらの課題に対処し、交通管理をさらに分散化するために、単一エージェント強化学習を用いて自律走行車のための分散化された協調運転方針を学習する非対称アクター・クリティックモデルを提案する。マスキングを用いた注意ニューラルネットワークを採用することで、本アプローチは実世界の交通ダイナミクスと部分的な観測可能性を効率的に管理し、マルチエージェント強化学習における事前定義エージェントやエージェント固有の経験バッファの必要性を排除する。様々なトラフィックシナリオにおける広範な評価により、我々の手法が重要なボトルネックポイントにおけるトラフィックフローを改善する大きな可能性を示す。さらに、交通ルールを厳格に遵守する保守的な自律走行車の運転行動がもたらす課題に対処し、我々の協調政策が安全性を損なうことなく潜在的な速度低下を効果的に緩和することを示す。

要約(オリジナル)

Active traffic management with autonomous vehicles offers the potential for reduced congestion and improved traffic flow. However, developing effective algorithms for real-world scenarios requires overcoming challenges related to infinite-horizon traffic flow and partial observability. To address these issues and further decentralize traffic management, we propose an asymmetric actor-critic model that learns decentralized cooperative driving policies for autonomous vehicles using single-agent reinforcement learning. By employing attention neural networks with masking, our approach efficiently manages real-world traffic dynamics and partial observability, eliminating the need for predefined agents or agent-specific experience buffers in multi-agent reinforcement learning. Extensive evaluations across various traffic scenarios demonstrate our method’s significant potential in improving traffic flow at critical bottleneck points. Moreover, we address the challenges posed by conservative autonomous vehicle driving behaviors that adhere strictly to traffic rules, showing that our cooperative policy effectively alleviates potential slowdowns without compromising safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL