Reinforced Imitative Trajectory Planning for Urban Automated Driving

要約

強化学習 (RL) は、RL の収束性の低さと報酬関数の設計の難しさにより、都市自動運転の軌道計画において課題に直面しています。
収束の問題は、RL と教師あり学習を組み合わせることで軽減されます。
しかし、既存のアプローチのほとんどは 1 ステップ先を推論するだけで、将来の複数のステップを計画する機能がありません。
さらに、逆強化学習は報酬関数の設計問題を解決する可能性を秘めていますが、既存の自動運転手法は報酬関数に線形構造の仮定を課しているため、都市部の自動運転に適用するのは困難です。
これらの課題を考慮して、この論文では、RL と模倣学習を統合してマルチステップ計画を可能にする、新しい RL ベースの軌道計画方法を提案します。
さらに、トランスフォーマーベースのベイジアン報酬関数が開発され、都市シナリオにおける RL に効果的な報酬信号を提供します。
さらに、安全性と解釈可能性を高めるために、ハイブリッド駆動の軌道計画フレームワークが提案されています。
提案された手法は、大規模な現実世界の都市自動運転 nuPlan データセットで検証されました。
結果は、閉ループメトリクスの点で、提案された方法がベースラインよりも大幅に優れていることを実証しました。
コードは https://github.com/Zigned/nuplan_zigned で入手できます。

要約(オリジナル)

Reinforcement learning (RL) faces challenges in trajectory planning for urban automated driving due to the poor convergence of RL and the difficulty in designing reward functions. The convergence problem is alleviated by combining RL with supervised learning. However, most existing approaches only reason one step ahead and lack the capability to plan for multiple future steps. Besides, although inverse reinforcement learning holds promise for solving the reward function design issue, existing methods for automated driving impose a linear structure assumption on reward functions, making them difficult to apply to urban automated driving. In light of these challenges, this paper proposes a novel RL-based trajectory planning method that integrates RL with imitation learning to enable multi-step planning. Furthermore, a transformer-based Bayesian reward function is developed, providing effective reward signals for RL in urban scenarios. Moreover, a hybrid-driven trajectory planning framework is proposed to enhance safety and interpretability. The proposed methods were validated on the large-scale real-world urban automated driving nuPlan dataset. The results demonstrated the significant superiority of the proposed methods over the baselines in terms of the closed-loop metrics. The code is available at https://github.com/Zigned/nuplan_zigned.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google