Foundation Models in Autonomous Driving: A Survey on Scenario Generation and Scenario Analysis

要約

自動運転車の場合、複雑な環境での安全なナビゲーションは、幅広い多様でまれな運転シナリオの処理に依存します。
シミュレーションおよびシナリオベースのテストは、自律運転システムの開発と検証への重要なアプローチとして浮上しています。
従来のシナリオ生成は、ルールベースのシステム、知識主導型モデル、およびデータ駆動型の合成に依存しており、多くの場合、限られた多様性と非現実的な安全性批判的なケースを生み出します。
事前に訓練された新たな汎用AIモデルの新世代を表す基礎モデルの出現により、開発者は不均一な入力（自然言語、センサーデータ、HDマップ、制御アクションなど）を処理し、複雑な駆動シナリオの統合と解釈を可能にします。
この論文では、自律運転におけるシナリオ生成およびシナリオ分析のための基礎モデルの適用に関する調査を実施します（2025年5月現在）。
私たちの調査では、自律運転シナリオの生成と分析のための大規模な言語モデル、ビジョン言語モデル、マルチモーダル大手言語モデル、拡散モデル、世界モデルを含む統一された分類法を提示します。
さらに、方法論、オープンソースデータセット、シミュレーションプラットフォーム、ベンチマークの課題を確認し、シナリオの生成と分析に明示的に調整された評価メトリックを調べます。
最後に、調査は、公開された課題と研究の質問を強調し、有望な将来の研究の方向性を概説することで締めくくります。
レビューされたすべての論文は、補足資料を含む継続的にメンテナンスされたリポジトリにリストされており、https：//github.com/tum-avs/fm-for-scenario-generation-analysで入手できます。

要約(オリジナル)

For autonomous vehicles, safe navigation in complex environments depends on handling a broad range of diverse and rare driving scenarios. Simulation- and scenario-based testing have emerged as key approaches to development and validation of autonomous driving systems. Traditional scenario generation relies on rule-based systems, knowledge-driven models, and data-driven synthesis, often producing limited diversity and unrealistic safety-critical cases. With the emergence of foundation models, which represent a new generation of pre-trained, general-purpose AI models, developers can process heterogeneous inputs (e.g., natural language, sensor data, HD maps, and control actions), enabling the synthesis and interpretation of complex driving scenarios. In this paper, we conduct a survey about the application of foundation models for scenario generation and scenario analysis in autonomous driving (as of May 2025). Our survey presents a unified taxonomy that includes large language models, vision-language models, multimodal large language models, diffusion models, and world models for the generation and analysis of autonomous driving scenarios. In addition, we review the methodologies, open-source datasets, simulation platforms, and benchmark challenges, and we examine the evaluation metrics tailored explicitly to scenario generation and analysis. Finally, the survey concludes by highlighting the open challenges and research questions, and outlining promising future research directions. All reviewed papers are listed in a continuously maintained repository, which contains supplementary materials and is available at https://github.com/TUM-AVS/FM-for-Scenario-Generation-Analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google