Towards Socially Responsive Autonomous Vehicles: A Reinforcement Learning Framework with Driving Priors and Coordination Awareness

要約

人間運転車 (HV) に加えて自動運転車 (AV) の出現により、交通の流れが混在する時代が到来し、複雑な運転環境におけるこれらのエンティティ間の複雑な相互作用という重大な課題が生じています。
AV は、人間主導の交通システムにシームレスに統合するために、人間のような運転動作を行うことが期待されています。
この問題に対処するために、事前分布と社会的調整認識 (SCA) を考慮して AV の動作を最適化する強化学習フレームワークを提案します。
このフレームワークには、変分オートエンコーダーに基づく運転事前学習 (DPL) モデルが統合されており、人間のドライバーの軌跡からドライバーの運転事前学習を推測します。
マルチヘッド アテンション メカニズムに基づくポリシー ネットワークは、AV と他のトラフィック参加者間のインタラクティブな依存関係を効果的に捕捉して、意思決定の品質を向上させるように設計されています。
自動運転意思決定システムへの SCA の導入、および交通システムを調整する AV の意欲を定量化するための調整傾向 (CT) の使用が検討されています。
シミュレーション結果は、提案されたフレームワークが AV の意思決定の質を向上させるだけでなく、AV が社会的行動を起こすよう動機づけることができ、交通システム全体の安全性と交通効率に潜在的な利点があることを示しています。

要約(オリジナル)

The advent of autonomous vehicles (AVs) alongside human-driven vehicles (HVs) has ushered in an era of mixed traffic flow, presenting a significant challenge: the intricate interaction between these entities within complex driving environments. AVs are expected to have human-like driving behavior to seamlessly integrate into human-dominated traffic systems. To address this issue, we propose a reinforcement learning framework that considers driving priors and Social Coordination Awareness (SCA) to optimize the behavior of AVs. The framework integrates a driving prior learning (DPL) model based on a variational autoencoder to infer the driver’s driving priors from human drivers’ trajectories. A policy network based on a multi-head attention mechanism is designed to effectively capture the interactive dependencies between AVs and other traffic participants to improve decision-making quality. The introduction of SCA into the autonomous driving decision-making system, and the use of Coordination Tendency (CT) to quantify the willingness of AVs to coordinate the traffic system is explored. Simulation results show that the proposed framework can not only improve the decision-making quality of AVs but also motivate them to produce social behaviors, with potential benefits for the safety and traffic efficiency of the entire transportation system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google