Multimodal Large Language Model Driven Scenario Testing for Autonomous Vehicles

要約

道路配備前に自動運転車を効率的にテストするには、コーナーケースの生成がますます重要になっています。
しかし、既存の方法は、多様なテスト要件に対応するのに苦労しており、目に見えない状況に一般化する機能が欠けていることが多く、そのため、生成されたシナリオの利便性と使いやすさが低下します。
現実的かつ困難な状況で効率的な自動運転車 (AV) テストを行うための、簡単に制御可能なシナリオ生成を促進する方法が強く求められています。
これに対処するために、私たちは OmniTester を提案しました。これは、LLM の広範な世界知識と推論機能を最大限に活用する、マルチモーダルな大規模言語モデル (LLM) ベースのフレームワークです。
OmniTester は、シミュレーション環境内で現実的で多様なシナリオを生成するように設計されており、AV のテストと評価のための堅牢なソリューションを提供します。
迅速なエンジニアリングに加えて、都市モビリティのシミュレーションのツールを採用して、LLM によって生成されたコードの複雑さを簡素化しています。
さらに、検索拡張生成と自己改善メカニズムを組み込んで、シナリオに対する LLM の理解を強化し、それによってより現実的なシーンを生成する能力を高めます。
実験では、3 種類の挑戦的で複雑なシナリオを生成する際のアプローチの制御性と現実性を実証しました。
さらに、LLM の一般化機能によって、クラッシュ レポートに記載されている新しいシナリオを再構築する際のその有効性を実証しました。

要約(オリジナル)

The generation of corner cases has become increasingly crucial for efficiently testing autonomous vehicles prior to road deployment. However, existing methods struggle to accommodate diverse testing requirements and often lack the ability to generalize to unseen situations, thereby reducing the convenience and usability of the generated scenarios. A method that facilitates easily controllable scenario generation for efficient autonomous vehicles (AV) testing with realistic and challenging situations is greatly needed. To address this, we proposed OmniTester: a multimodal Large Language Model (LLM) based framework that fully leverages the extensive world knowledge and reasoning capabilities of LLMs. OmniTester is designed to generate realistic and diverse scenarios within a simulation environment, offering a robust solution for testing and evaluating AVs. In addition to prompt engineering, we employ tools from Simulation of Urban Mobility to simplify the complexity of codes generated by LLMs. Furthermore, we incorporate Retrieval-Augmented Generation and a self-improvement mechanism to enhance the LLM’s understanding of scenarios, thereby increasing its ability to produce more realistic scenes. In the experiments, we demonstrated the controllability and realism of our approaches in generating three types of challenging and complex scenarios. Additionally, we showcased its effectiveness in reconstructing new scenarios described in crash report, driven by the generalization capability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google