From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events

要約

現実的な運転シナリオを使用したシミュレーションで自動化された運転システム（ADS）をテストすることは、パフォーマンスを検証するために重要です。
ただし、現実世界のドライビングビデオをシミュレーションシナリオに変換することは、高次元ビデオデータを解釈する複雑さと、正確なマニュアルシナリオ再構成の時間のかかる性質のために、重要な課題です。
この作業では、現実世界の自動車クラッシュビデオのコンバージョンをADSテストの詳細なシミュレーションシナリオに自動化する新しいフレームワークを提案します。
私たちのアプローチは、Dashcamの映像を風光明媚なスクリプトに変換するために、プロンプトエンジニアリングビデオ言語モデル（VLM）を活用して、Carla Simulatorの環境と駆動行動を定義し、現実的なシミュレーションシナリオの生成を可能にします。
重要なことに、1対1のシナリオ再構成を目指すのではなく、私たちのフレームワークは、検索ベースのテストを促進するために天候や道路状況などのパラメーターの柔軟性を提供しながら、元のビデオから本質的な運転行動をキャプチャすることに焦点を当てています。
さらに、実際のビデオとシミュレートされたビデオ間の運転行動の主要な機能を比較することにより、フィードバックを通じて生成されたシナリオを反復的に改良するのに役立つ類似性メトリックを導入します。
私たちの予備的な結果は、かなりの時間効率を示し、元の運転イベントに高い忠実度を維持しながら、完全な自動化と人間の介入なしで数分で実際の変換を終了します。

要約(オリジナル)

Testing Automated Driving Systems (ADS) in simulation with realistic driving scenarios is important for verifying their performance. However, converting real-world driving videos into simulation scenarios is a significant challenge due to the complexity of interpreting high-dimensional video data and the time-consuming nature of precise manual scenario reconstruction. In this work, we propose a novel framework that automates the conversion of real-world car crash videos into detailed simulation scenarios for ADS testing. Our approach leverages prompt-engineered Video Language Models(VLM) to transform dashcam footage into SCENIC scripts, which define the environment and driving behaviors in the CARLA simulator, enabling the generation of realistic simulation scenarios. Importantly, rather than solely aiming for one-to-one scenario reconstruction, our framework focuses on capturing the essential driving behaviors from the original video while offering flexibility in parameters such as weather or road conditions to facilitate search-based testing. Additionally, we introduce a similarity metric that helps iteratively refine the generated scenario through feedback by comparing key features of driving behaviors between the real and simulated videos. Our preliminary results demonstrate substantial time efficiency, finishing the real-to-sim conversion in minutes with full automation and no human intervention, while maintaining high fidelity to the original driving events.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google