Adaptive Testing Environment Generation for Connected and Automated Vehicles with Dense Reinforcement Learning

要約

安全性能の評価は、コネクテッド自動運転車 (CAV) の開発と導入において極めて重要な役割を果たします。
一般的なアプローチには、CAV に関する事前知識 (代理モデルなど) に基づいてテスト シナリオを設計し、これらのシナリオでテストを実施し、その後 CAV の安全性能を評価することが含まれます。
ただし、CAV と事前知識との間に大きな違いがあると、評価効率が大幅に低下する可能性があります。
この問題に対応して、既存の研究は主に、CAV テスト プロセス中のテスト シナリオの適応設計に焦点を当てています。
ただし、これらの方法は高次元のシナリオへの適用には限界があります。
この課題を克服するために、複数のサロゲート モデルを組み込み、これらのサロゲート モデルの組み合わせ係数を最適化して評価効率を高めることにより、評価の堅牢性を強化する適応テスト環境を開発します。
二次計画法を利用した回帰タスクとして最適化問題を定式化します。
強化学習によって回帰目標を効率的に取得するために、我々は高密度強化学習手法を提案し、高いサンプル効率を備えた新しい適応ポリシーを考案します。
基本的に、私たちのアプローチは、実質的な代用と実際のギャップを示す重要なシーンの値を学習することに重点を置いています。
私たちの方法の有効性は高次元の追い越しシナリオで検証され、私たちのアプローチが顕著な評価効率を達成することを実証しています。

要約(オリジナル)

The assessment of safety performance plays a pivotal role in the development and deployment of connected and automated vehicles (CAVs). A common approach involves designing testing scenarios based on prior knowledge of CAVs (e.g., surrogate models), conducting tests in these scenarios, and subsequently evaluating CAVs’ safety performances. However, substantial differences between CAVs and the prior knowledge can significantly diminish the evaluation efficiency. In response to this issue, existing studies predominantly concentrate on the adaptive design of testing scenarios during the CAV testing process. Yet, these methods have limitations in their applicability to high-dimensional scenarios. To overcome this challenge, we develop an adaptive testing environment that bolsters evaluation robustness by incorporating multiple surrogate models and optimizing the combination coefficients of these surrogate models to enhance evaluation efficiency. We formulate the optimization problem as a regression task utilizing quadratic programming. To efficiently obtain the regression target via reinforcement learning, we propose the dense reinforcement learning method and devise a new adaptive policy with high sample efficiency. Essentially, our approach centers on learning the values of critical scenes displaying substantial surrogate-to-real gaps. The effectiveness of our method is validated in high-dimensional overtaking scenarios, demonstrating that our approach achieves notable evaluation efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google