Trajectory Planning for Autonomous Vehicle Using Iterative Reward Prediction in Reinforcement Learning

要約

自動運転車の従来の軌道計画方法には、いくつかの制限があります。
たとえば、ヒューリスティックで明示的な単純なルールは一般化可能性を制限し、複雑な動作を妨げます。
これらの制限は、強化学習ベースの軌道計画を使用して対処できます。
ただし、強化学習には不安定な学習があり、既存の強化学習ベースの軌道計画手法では不確実性が考慮されていません。
そこで本論文では、強化学習に基づく自動運転車の軌道計画手法を提案する。
提案手法には、学習プロセスを安定化する反復報酬予測手法と、強化学習エージェントに不確実性を認識させる不確実性伝播手法が含まれています。
提案手法をCARLAシミュレータを用いて評価した。
ベースライン手法と比較して、提案手法は衝突率を60.17%減少させ、平均報酬を30.82倍増加させた。
提案された方法のビデオは https://www.youtube.com/watch?v=PfDbaeLfcN4 でご覧いただけます。

要約(オリジナル)

Traditional trajectory planning methods for autonomous vehicles have several limitations. For example, heuristic and explicit simple rules limit generalizability and hinder complex motions. These limitations can be addressed using reinforcement learning-based trajectory planning. However, reinforcement learning suffers from unstable learning and existing reinforcement learning-based trajectory planning methods do not consider the uncertainties. Thus, this paper, proposes a reinforcement learning-based trajectory planning method for autonomous vehicles. The proposed method includes an iterative reward prediction method that stabilizes the learning process, and an uncertainty propagation method that makes the reinforcement learning agent aware of uncertainties. The proposed method was evaluated using the CARLA simulator. Compared to the baseline methods, the proposed method reduced the collision rate by 60.17%, and increased the average reward by 30.82 times. A video of the proposed method is available at https://www.youtube.com/watch?v=PfDbaeLfcN4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google