Mix Q-learning for Lane Changing: A Collaborative Decision-Making Method in Multi-Agent Deep Reinforcement Learning

要約

自動運転車両の経路計画にとって重要な車線変更の決定は、ルールベースの制約と限られたデータにより現実的な課題に直面しています。
深層強化学習は、データ取得と解釈可能性における利点により、主要な研究の焦点となっています。
しかし、現在のモデルでは連携が見落とされていることが多く、全体的な交通効率に影響を与えるだけでなく、長期的には車両自体の通常の運転にも支障をきたします。
前述の問題に対処するために、この論文は、より大きな利益のための集団的利益と個人的利益の両方を考慮して、ハイブリッドバリューQネットワークを統合するMix Q-learning for Lane Changing(MQLC)と呼ばれる方法を提案する。
集団レベルでは、私たちの方法はグローバル情報を利用して個々の Q ネットワークとグローバル Q ネットワークを調整します。
これにより、エージェントは個人の利益と全体の利益のバランスを効果的に取ることができます。
個人レベルでは、深層学習ベースの意図認識モジュールを観察に統合し、意思決定ネットワークを強化しました。
これらの変更により、エージェントはより豊富な意思決定情報とより正確な特徴抽出を提供して、車線変更の意思決定が向上します。
この戦略により、マルチエージェント システムは最適な意思決定戦略を効果的に学習して策定できるようになります。
当社の MQLC モデルは、広範な実験結果を通じて、他の最先端のマルチエージェント意思決定手法よりも優れたパフォーマンスを発揮し、より安全かつ迅速な車線変更の意思決定を実現します。

要約(オリジナル)

Lane-changing decisions, which are crucial for autonomous vehicle path planning, face practical challenges due to rule-based constraints and limited data. Deep reinforcement learning has become a major research focus due to its advantages in data acquisition and interpretability. However, current models often overlook collaboration, which affects not only impacts overall traffic efficiency but also hinders the vehicle’s own normal driving in the long run. To address the aforementioned issue, this paper proposes a method named Mix Q-learning for Lane Changing(MQLC) that integrates a hybrid value Q network, taking into account both collective and individual benefits for the greater good. At the collective level, our method coordinates the individual Q and global Q networks by utilizing global information. This enables agents to effectively balance their individual interests with the collective benefit. At the individual level, we integrated a deep learning-based intent recognition module into our observation and enhanced the decision network. These changes provide agents with richer decision information and more accurate feature extraction for improved lane-changing decisions. This strategy enables the multi-agent system to learn and formulate optimal decision-making strategies effectively. Our MQLC model, through extensive experimental results, impressively outperforms other state-of-the-art multi-agent decision-making methods, achieving significantly safer and faster lane-changing decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google