Generating Out-Of-Distribution Scenarios Using Language Models

要約

機械学習技術によって制御される自動運転車の導入には、現実世界の多様な環境での広範なテスト、エッジケースや配布外のシナリオへの確実な対応、およびこれらのシステムが予測不可能な状況下でも安全かつ効果的に走行できることを保証するための包括的な安全性検証が必要です。
。
Out-Of-Distribution (OOD) 運転シナリオに対処することは、安全性を高めるために不可欠です。OOD シナリオは車両の自律性スタック内のモデルの信頼性を検証するのに役立つからです。
ただし、OOD シナリオの生成は、都市部の運転データセットではロングテール分布と希少性があるため、困難です。
最近、大規模言語モデル (LLM) は、特にそのゼロショット一般化と常識的な推論機能により、自動運転において有望であることが示されています。
このペーパーでは、これらの LLM の強みを活用して、多様な OOD 駆動シナリオを生成するためのフレームワークを紹介します。
私たちのアプローチでは、LLM を使用して分岐ツリーを構築し、各分岐が固有の OOD シナリオを表します。
これらのシナリオは、シーンの拡張を対応するテキストの説明と調整する自動フレームワークを使用して、CARLA シミュレーターでシミュレートされます。
私たちは広範なシミュレーションを通じてフレームワークを評価し、シナリオの豊富さを測定する多様性指標を通じてそのパフォーマンスを評価します。
さらに、生成されたシナリオが典型的な都市部の運転条件からどの程度逸脱しているかを定量化する、新しい「OOD-ness」指標を導入します。
さらに、シミュレートされた OOD シナリオを解釈し、安全にナビゲートする最新の視覚言語モデル (VLM) の能力を調査します。
私たちの調査結果は、都市部の運転のコンテキスト内で OOD シナリオに対処する際の言語モデルの信頼性についての貴重な洞察を提供します。

要約(オリジナル)

The deployment of autonomous vehicles controlled by machine learning techniques requires extensive testing in diverse real-world environments, robust handling of edge cases and out-of-distribution scenarios, and comprehensive safety validation to ensure that these systems can navigate safely and effectively under unpredictable conditions. Addressing Out-Of-Distribution (OOD) driving scenarios is essential for enhancing safety, as OOD scenarios help validate the reliability of the models within the vehicle’s autonomy stack. However, generating OOD scenarios is challenging due to their long-tailed distribution and rarity in urban driving dataset. Recently, Large Language Models (LLMs) have shown promise in autonomous driving, particularly for their zero-shot generalization and common-sense reasoning capabilities. In this paper, we leverage these LLM strengths to introduce a framework for generating diverse OOD driving scenarios. Our approach uses LLMs to construct a branching tree, where each branch represents a unique OOD scenario. These scenarios are then simulated in the CARLA simulator using an automated framework that aligns scene augmentation with the corresponding textual descriptions. We evaluate our framework through extensive simulations, and assess its performance via a diversity metric that measures the richness of the scenarios. Additionally, we introduce a new ‘OOD-ness’ metric, which quantifies how much the generated scenarios deviate from typical urban driving conditions. Furthermore, we explore the capacity of modern Vision-Language Models (VLMs) to interpret and safely navigate through the simulated OOD scenarios. Our findings offer valuable insights into the reliability of language models in addressing OOD scenarios within the context of urban driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google