Novel Actor-Critic Algorithm for Robust Decision Making of CAV under Delays and Loss of V2X Data

要約

現在の自動運転システムは、状況認識と車両間の連携を強化するために V2X 通信データに大きく依存しています。
ただし、V2X データを使用する場合の大きな課題は、道の駅と受信車両の間の無線伝送中に予測できない遅延やデータ損失が発生するため、データが定期的に利用できなくなる可能性があることです。
この問題は、コネクテッド車両および自動運転車両の制御戦略を設計する際に考慮する必要があります。
したがって、この論文では、データの遅延や損失がある V2X 環境で堅牢な運転パフォーマンスを保証する新しい「Blind Actor-Critic」アルゴリズムを提案します。
新しいアルゴリズムには、仮想固定サンプリング期間、時間差分学習とモンテカルロ学習の組み合わせ、即時報酬値の数値近似という 3 つの重要なメカニズムが組み込まれています。
V2X データの時間的非周期性の問題に対処するために、まずこの課題を説明します。
次に、Blind Actor-Critic アルゴリズムの詳細な説明を提供し、V2X データの時間的非周期性の問題を補償するために提案されたコンポーネントを強調します。
シミュレーション環境でアルゴリズムのパフォーマンスを評価し、ベンチマークアプローチと比較します。
結果は、従来のアクタークリティカルアルゴリズムと比較してトレーニングメトリクスが改善されていることを示しています。
さらに、テスト結果は、V2X ネットワークの信頼性レベルが低い場合でも、当社のアプローチが堅牢な制御を提供することを示しています。

要約(オリジナル)

Current autonomous driving systems heavily rely on V2X communication data to enhance situational awareness and the cooperation between vehicles. However, a major challenge when using V2X data is that it may not be available periodically because of unpredictable delays and data loss during wireless transmission between road stations and the receiver vehicle. This issue should be considered when designing control strategies for connected and autonomous vehicles. Therefore, this paper proposes a novel ‘Blind Actor-Critic’ algorithm that guarantees robust driving performance in V2X environment with delayed and/or lost data. The novel algorithm incorporates three key mechanisms: a virtual fixed sampling period, a combination of Temporal-Difference and Monte Carlo learning, and a numerical approximation of immediate reward values. To address the temporal aperiodicity problem of V2X data, we first illustrate this challenge. Then, we provide a detailed explanation of the Blind Actor-Critic algorithm where we highlight the proposed components to compensate for the temporal aperiodicity problem of V2X data. We evaluate the performance of our algorithm in a simulation environment and compare it to benchmark approaches. The results demonstrate that training metrics are improved compared to conventional actor-critic algorithms. Additionally, testing results show that our approach provides robust control, even under low V2X network reliability levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google