DDM-Lag : A Diffusion-based Decision-making Model for Autonomous Vehicles with Lagrangian Safety Enhancement

要約

意思決定は自動運転車 (AV) の領域において極めて重要な要素であり、自動運転の複雑な問題を解決する上で重要な役割を果たします。
データ駆動型の方法論が進化する中、複雑なシナリオにおける意思決定のパフォーマンスを向上させることが、研究の重要な焦点として浮上しています。
かなりの進歩にもかかわらず、現在の学習ベースの意思決定アプローチは、特に政策の明確化と安全性保証の側面において改良の余地があることが示されています。
これらの課題に対処するために、ラグランジアン ベースの安全性強化で強化された拡散意思決定モデルである DDM-Lag を導入します。私たちのアプローチでは、自動運転の意思決定の難題は制約付きマルコフ決定プロセス (CMDP) として概念化されます。
私たちは、アクターと批評家のフレームワークを作成しました。このフレームワークでは、拡散モデルがアクターとして採用され、政策の探索と学習を促進します。
CMDP への安全制約の統合と、ラグランジュ緩和ベースのポリシー最適化手法の採用により、意思決定の安全性が強化されます。
PIDコントローラーを採用し、モデルパラメータを安定して更新します。
DDM-Lag の有効性はさまざまな運転タスクを通じて評価され、ベースラインと比較して意思決定の安全性と全体的なパフォーマンスが向上していることがわかります。

要約(オリジナル)

Decision-making stands as a pivotal component in the realm of autonomous vehicles (AVs), playing a crucial role in navigating the intricacies of autonomous driving. Amidst the evolving landscape of data-driven methodologies, enhancing decision-making performance in complex scenarios has emerged as a prominent research focus. Despite considerable advancements, current learning-based decision-making approaches exhibit potential for refinement, particularly in aspects of policy articulation and safety assurance. To address these challenges, we introduce DDM-Lag, a Diffusion Decision Model,augmented with Lagrangian-based safety enhancements.In our approach, the autonomous driving decision-making conundrum is conceptualized as a Constrained Markov Decision Process (CMDP). We have crafted an Actor-Critic framework, wherein the diffusion model is employed as the actor,facilitating policy exploration and learning. The integration of safety constraints in the CMDP and the adoption of a Lagrangian relaxation-based policy optimization technique ensure enhanced decision safety. A PID controller is employed for the stable updating of model parameters. The effectiveness of DDM-Lag is evaluated through different driving tasks, showcasing improvements in decision-making safety and overall performance compared to baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google