Cooperative Decision-Making for CAVs at Unsignalized Intersections: A MARL Approach with Attention and Hierarchical Game Priors

要約

自動運転車の開発は、輸送システムの効率と安全性を向上させる大きな可能性を示しています。
しかし、信号のない交差点など、人間と機械が混在する複雑な交通シナリオにおける意思決定の問題は、自動運転車にとって依然として課題です。
強化学習 (RL) は複雑な意思決定の問題を解決するために使用されてきましたが、既存の RL 手法では、複数のコネクテッド自律走行車 (CAV) の協調的な意思決定の処理、探査中の安全性の確保、現実的な人間のドライバーの行動のシミュレーションには依然として限界があります。
。
この論文では、これらの制限に対処するために、新しく効率的なアルゴリズムであるマルチエージェントゲーム事前アテンションディープ決定論的ポリシー勾配 (MA-GA-DDPG) を提案します。
私たちが提案するアルゴリズムは、信号のない交差点での CAV の意思決定問題を分散型マルチエージェント強化学習問題として定式化し、自我 CAV と他のエージェント間の相互作用の依存関係を捕捉するための注意メカニズムを組み込んでいます。
次に、自車両と他のエージェントとの間の注意の重みを使用して、インタラクション オブジェクトをスクリーニングし、事前の階層ゲーム関係を取得します。これに基づいて、安全検査モジュールが交通安全を改善するように設計されます。
さらに、シミュレーションとハードウェアインザループ実験の両方が実施され、私たちの方法が運転の安全性、効率、快適さの点で他のベースラインアプローチよりも優れていることが実証されました。

要約(オリジナル)

The development of autonomous vehicles has shown great potential to enhance the efficiency and safety of transportation systems. However, the decision-making issue in complex human-machine mixed traffic scenarios, such as unsignalized intersections, remains a challenge for autonomous vehicles. While reinforcement learning (RL) has been used to solve complex decision-making problems, existing RL methods still have limitations in dealing with cooperative decision-making of multiple connected autonomous vehicles (CAVs), ensuring safety during exploration, and simulating realistic human driver behaviors. In this paper, a novel and efficient algorithm, Multi-Agent Game-prior Attention Deep Deterministic Policy Gradient (MA-GA-DDPG), is proposed to address these limitations. Our proposed algorithm formulates the decision-making problem of CAVs at unsignalized intersections as a decentralized multi-agent reinforcement learning problem and incorporates an attention mechanism to capture interaction dependencies between ego CAV and other agents. The attention weights between the ego vehicle and other agents are then used to screen interaction objects and obtain prior hierarchical game relations, based on which a safety inspector module is designed to improve the traffic safety. Furthermore, both simulation and hardware-in-the-loop experiments were conducted, demonstrating that our method outperforms other baseline approaches in terms of driving safety, efficiency, and comfort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google