LD-Scene: LLM-Guided Diffusion for Controllable Generation of Adversarial Safety-Critical Driving Scenarios

要約

自律駆動システムの安全性と堅牢性を確保するには、安全性が批判的なシナリオで包括的な評価を必要とします。
ただし、これらの安全性が批判的なシナリオはまれであり、現実世界の駆動データから収集することは困難であり、自動運転車のパフォーマンスを効果的に評価するための重要な課題を提起しています。
典型的な既存の方法は、限られた制御可能性に悩まされ、ユーザーフレンドリーに欠けていることが多く、本質的に広範な専門知識が必要であるためです。
これらの課題に対処するために、LD-Sceneを提案します。LD-Sceneは、自然言語を介したユーザー制御可能な敵対的シナリオ生成のための大規模な言語モデル（LLM）と潜在的な拡散モデル（LDMS）を統合する新しいフレームワークです。
私たちのアプローチは、現実的な駆動軌道分布をキャプチャするLDMと、ユーザークエリを敵対的な損失関数に変換するLLMベースのガイダンスモジュールで構成され、ユーザークエリに沿ったシナリオの生成を促進します。
ガイダンスモジュールは、LLMベースの考え方（COT）コードジェネレーターとLLMベースのコードデバッガーを統合し、ガイダンス関数を生成する際の制御可能性と堅牢性を高めます。
ヌスセンデータセットで実施された広範な実験は、LDシーンが現実的で多様で効果的な敵対的なシナリオを生成する上で最先端のパフォーマンスを達成することを示しています。
さらに、私たちのフレームワークは、敵対的な行動をきれいに制御するため、特定の運転シナリオに合わせたより効果的なテストを促進します。

要約(オリジナル)

Ensuring the safety and robustness of autonomous driving systems necessitates a comprehensive evaluation in safety-critical scenarios. However, these safety-critical scenarios are rare and difficult to collect from real-world driving data, posing significant challenges to effectively assessing the performance of autonomous vehicles. Typical existing methods often suffer from limited controllability and lack user-friendliness, as extensive expert knowledge is essentially required. To address these challenges, we propose LD-Scene, a novel framework that integrates Large Language Models (LLMs) with Latent Diffusion Models (LDMs) for user-controllable adversarial scenario generation through natural language. Our approach comprises an LDM that captures realistic driving trajectory distributions and an LLM-based guidance module that translates user queries into adversarial loss functions, facilitating the generation of scenarios aligned with user queries. The guidance module integrates an LLM-based Chain-of-Thought (CoT) code generator and an LLM-based code debugger, enhancing the controllability and robustness in generating guidance functions. Extensive experiments conducted on the nuScenes dataset demonstrate that LD-Scene achieves state-of-the-art performance in generating realistic, diverse, and effective adversarial scenarios. Furthermore, our framework provides fine-grained control over adversarial behaviors, thereby facilitating more effective testing tailored to specific driving scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google