Stackelberg Driver Model for Continual Policy Improvement in Scenario-Based Closed-Loop Autonomous Driving

要約

自動運転車 (AV) の導入は、運転シナリオのロングテール分布内でまれではあるが重要なコーナーケースが優勢であるため、障害に直面しており、これが全体的なパフォーマンスに悪影響を及ぼしています。
この課題に対処するために、AV テスト用の安全性が重要なシナリオを合成するための効率的なアプローチの一種として、敵対的生成手法が登場しました。
ただし、これらの生成されたシナリオは、AV トレーニングには十分に活用されていないことが多く、その結果、AV ポリシーの継続的な改善の可能性が未開発のまま残り、それを達成するために必要な閉ループ設計が不十分になります。
したがって、Stackelberg Driver Model (SDM) を調整して、車両インタラクション ダイナミクスの階層的性質を正確に特徴付け、背景車両 (BV) と AV を連続的なゲームのようなインタラクション パラダイムに関与させることで反復的な改善を促進します。
AV がリーダーとして機能し、BV がフォロワーとして機能するこのリーダーとフォロワーのモデリングにより、AV は、AV への挑戦に対して BV が最適な応答を行うという追加情報を常に考慮しながら、一貫してポリシーを洗練することが保証されます。
広範な実験により、私たちのアルゴリズムは特に高次元のシナリオにおいていくつかのベースラインと比較して優れたパフォーマンスを示し、徐々に困難なシナリオを継続的に生成しながら AV 機能の大幅な進歩につながることが示されました。
コードは https://github.com/BlueCat-de/SDM で入手できます。

要約(オリジナル)

The deployment of autonomous vehicles (AVs) has faced hurdles due to the dominance of rare but critical corner cases within the long-tail distribution of driving scenarios, which negatively affects their overall performance. To address this challenge, adversarial generation methods have emerged as a class of efficient approaches to synthesize safety-critical scenarios for AV testing. However, these generated scenarios are often underutilized for AV training, resulting in the potential for continual AV policy improvement remaining untapped, along with a deficiency in the closed-loop design needed to achieve it. Therefore, we tailor the Stackelberg Driver Model (SDM) to accurately characterize the hierarchical nature of vehicle interaction dynamics, facilitating iterative improvement by engaging background vehicles (BVs) and AV in a sequential game-like interaction paradigm. With AV acting as the leader and BVs as followers, this leader-follower modeling ensures that AV would consistently refine its policy, always taking into account the additional information that BVs play the best response to challenge AV. Extensive experiments have shown that our algorithm exhibits superior performance compared to several baselines especially in higher dimensional scenarios, leading to substantial advancements in AV capabilities while continually generating progressively challenging scenarios. Code is available at https://github.com/BlueCat-de/SDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google