Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep Reinforcement Learning Approach

要約

運転環境の動的な性質と多様な道路利用者の存在は、自動運転における意思決定に大きな課題をもたらします。
深層強化学習 (DRL) は、この問題に取り組む一般的なアプローチとして登場しました。
ただし、既存の DRL ソリューションの適用は、安全上の懸念から主にシミュレートされた環境に限定されており、現実世界への展開が妨げられています。
この制限を克服するために、この論文では、DRL (経験からの学習) とシンボリック一次ロジック (知識駆動型推論) の長所を組み合わせた、シンボリック ロジックを使用した DRL (DRLSL) と呼ばれる、ニューロシンボリック モデルフリーの新しい DRL アプローチを紹介します。
実環境内での自動運転のリアルタイムインタラクションで安全な学習を可能にします。
この革新的なアプローチは、安全性を確保しながら物理的環境に積極的に関与することで、自動運転ポリシーを学習する手段を提供します。
私たちは、highD データセットを使用して自動運転に DRLSL フレームワークを実装し、トレーニングとテストの両方の段階で、私たちの方法が安全でない行動を首尾よく回避できることを実証しました。
さらに、我々の結果は、DRLSL が従来の DRL 手法と比較して、トレーニング中により高速な収束を実現し、新しい運転シナリオに対してより優れた汎用性を示すことを示しています。

要約(オリジナル)

The dynamic nature of driving environments and the presence of diverse road users pose significant challenges for decision-making in autonomous driving. Deep reinforcement learning (DRL) has emerged as a popular approach to tackle this problem. However, the application of existing DRL solutions is mainly confined to simulated environments due to safety concerns, impeding their deployment in real-world. To overcome this limitation, this paper introduces a novel neuro-symbolic model-free DRL approach, called DRL with Symbolic Logics (DRLSL) that combines the strengths of DRL (learning from experience) and symbolic first-order logics (knowledge-driven reasoning) to enable safe learning in real-time interactions of autonomous driving within real environments. This innovative approach provides a means to learn autonomous driving policies by actively engaging with the physical environment while ensuring safety. We have implemented the DRLSL framework in autonomous driving using the highD dataset and demonstrated that our method successfully avoids unsafe actions during both the training and testing phases. Furthermore, our results indicate that DRLSL achieves faster convergence during training and exhibits better generalizability to new driving scenarios compared to traditional DRL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google