Large Language Models for Autonomous Driving (LLM4AD): Concept, Benchmark, Experiments, and Challenges

要約

より広い使用法と大規模な言語モデル（LLMS）の非常に成功した開発により、LLMを自律運転技術に適用するための関心と需要の成長がありました。
自然言語の理解と推論能力に駆り立てられているLLMは、知覚やシーンの理解から言語の相互作用や意思決定に至るまで、自律運転システムのさまざまな側面を強化する可能性があります。
この論文では、最初に自律運転用のLLMSを設計するという新しい概念（LLM4AD）を紹介します。
次に、シミュレーションにおけるLLM4ADの指導に従う能力を評価するための包括的なベンチマークを提案します。
さらに、LLM4ADシステムのパフォーマンスと可能性を徹底的に評価し、実際の車両プラットフォームで一連の実験を実施します。
最後に、LLM4ADの主な課題を想定しています。これには、遅延、展開、セキュリティとプライバシー、安全性、信頼と透明性、パーソナライズなどがあります。
私たちの研究は、認識やシーンの理解から言語の相互作用や意思決定に至るまで、自律車両技術のさまざまな側面を強化するLLMSの重要な可能性を強調しています。

要約(オリジナル)

With the broader usage and highly successful development of Large Language Models (LLMs), there has been a growth of interest and demand for applying LLMs to autonomous driving technology. Driven by their natural language understanding and reasoning ability, LLMs have the potential to enhance various aspects of autonomous driving systems, from perception and scene understanding to language interaction and decision-making. In this paper, we first introduce the novel concept of designing LLMs for autonomous driving (LLM4AD). Then, we propose a comprehensive benchmark for evaluating the instruction-following abilities of LLM4AD in simulation. Furthermore, we conduct a series of experiments on real-world vehicle platforms, thoroughly evaluating the performance and potential of our LLM4AD systems. Finally, we envision the main challenges of LLM4AD, including latency, deployment, security and privacy, safety, trust and transparency, and personalization. Our research highlights the significant potential of LLMs to enhance various aspects of autonomous vehicle technology, from perception and scene understanding to language interaction and decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google