Adaptive Kalman-based hybrid car following strategy using TD3 and CACC

要約

自動運転では、深層強化学習と協調型アダプティブクルーズコントロール（CACC）のハイブリッド戦略により、2つのアルゴリズムの利点を最大限に活用し、車追従性能を大幅に向上させることができます。
ただし、固定係数に基づく従来のハイブリッド戦略では、混合交通流シナリオに適応することが困難であり、パフォーマンスが低下し、事故につながる可能性もあります。
上記の問題に対処するために、適応カルマンフィルタに基づくハイブリッド車追従戦略が、CACCおよびTwin Delayed Deep Deterministic Policy Gradient(TD3)アルゴリズムを考慮して提案される。
固定係数に基づく従来のハイブリッド戦略とは異なり、カルマン ゲイン H は、適応係数として使用され、マルチタイムステップ予測とモンテカルロ ツリー検索から導出されます。
研究の終了時点で、4157745 タイムステップのシミュレーション結果は、TD3 および HCFS アルゴリズムと比較して、この研究で提案されたアルゴリズムが、快適性と効率を損なうことなく、混合交通流における後続車の安全性を大幅に強化できることを示しています。

要約(オリジナル)

In autonomous driving, the hybrid strategy of deep reinforcement learning and cooperative adaptive cruise control (CACC) can fully utilize the advantages of the two algorithms and significantly improve the performance of car following. However, it is challenging for the traditional hybrid strategy based on fixed coefficients to adapt to mixed traffic flow scenarios, which may decrease the performance and even lead to accidents. To address the above problems, a hybrid car following strategy based on an adaptive Kalman Filter is proposed by regarding CACC and Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithms. Different from traditional hybrid strategy based on fixed coefficients, the Kalman gain H, using as an adaptive coefficient, is derived from multi-timestep predictions and Monte Carlo Tree Search. At the end of study, simulation results with 4157745 timesteps indicate that, compared with the TD3 and HCFS algorithms, the proposed algorithm in this study can substantially enhance the safety of car following in mixed traffic flow without compromising the comfort and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google