Empowering Autonomous Driving with Large Language Models: A Safety Perspective

要約

自動運転 (AD) は、ロングテールの予期せぬ運転シナリオで重大な安全性のハードルに直面します。これは主に、AD システム内のディープ ニューラル ネットワークの解釈不能性と一般化の不全、特に分布外で不確実なデータに起因します。
この目的を達成するために、このホワイト ペーパーでは、大規模言語モデル (LLM) の強力な常識知識と推論能力を活用して、AD システムへの統合を検討します。
提案された方法論は、行動計画におけるインテリジェントな意思決定者として LLM を採用し、状況に応じた安全学習のための安全検証シールドを強化して、運転パフォーマンスと安全性を強化します。
シミュレーション環境における 2 つの主要な研究を紹介します。適応 LLM 条件付きモデル予測制御 (MPC) と、ステート マシンを使用した LLM 対応の対話型行動計画スキームです。
最先端のアプローチと比較して優れたパフォーマンスと安全性の指標を実証する私たちのアプローチは、自動運転車に LLM を使用する有望な可能性を示しています。

要約(オリジナル)

Autonomous Driving (AD) encounters significant safety hurdles in long-tail unforeseen driving scenarios, largely stemming from the non-interpretability and poor generalization of the deep neural networks within the AD system, particularly in out-of-distribution and uncertain data. To this end, this paper explores the integration of Large Language Models (LLMs) into AD systems, leveraging their robust common-sense knowledge and reasoning abilities. The proposed methodologies employ LLMs as intelligent decision-makers in behavioral planning, augmented with a safety verifier shield for contextual safety learning, for enhancing driving performance and safety. We present two key studies in a simulated environment: an adaptive LLM-conditioned Model Predictive Control (MPC) and an LLM-enabled interactive behavior planning scheme with a state machine. Demonstrating superior performance and safety metrics compared to state-of-the-art approaches, our approach shows the promising potential for using LLMs for autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google