A Survey on Large Language Model-empowered Autonomous Driving

要約

人工知能 (AI) は自動運転 (AD) 研究において重要な役割を果たし、その開発をインテリジェンスと効率に向けて推進します。
現在、AD テクノロジーの開発は、モジュール化とエンドツーエンドという 2 つの主要な技術的パスに従っています。
モジュール化では、運転タスクを知覚、予測、計画、制御などのモジュールに分解し、個別にトレーニングします。
モジュール間のトレーニング目標に一貫性がないため、統合された効果には偏りが生じます。
エンドツーエンドでは、センサー データから制御信号に直接マッピングする単一モデルを利用することで、この問題に対処しようとしています。
このパスでは、包括的な機能セットの学習能力が限られており、予測できないロングテール イベントや複雑な都市交通シナリオの処理に苦労しています。
どちらの経路でも直面する課題に直面して、多くの研究者は、強力な推論機能と広範な知識の理解を備えた大規模言語モデル (LLM) が解決策になる可能性があると信じており、LLM がより深いレベルの理解と意思決定機能を AD システムに提供すると期待しています。
両方の経路が直面する課題を考慮して、多くの研究者は、強力な推論能力と広範な知識を備えた LLM が解決策を提供できると信じています。
LLM が AD を強化できるかどうかを理解するために、このホワイト ペーパーでは、AD システムにおける LLM の潜在的なアプリケーションの徹底的な分析を実施します。これには、モジュラー アプローチとエンドツーエンド アプローチの両方での最適化戦略の調査も含まれます。特に、LLM がどのように問題に対処できるかに焦点を当てています。
現在のソリューションに存在する問題と課題。
さらに、LLM ベースの汎用人工知能 (AGI) は高レベルの AD を達成するための鍵となり得るかという重要な質問について説明します。
私たちは、AD テクノロジーの開発を促進する際に LLM が遭遇する可能性のある潜在的な制限と課題をさらに分析します。

要約(オリジナル)

Artificial intelligence (AI) plays a crucial role in autonomous driving (AD) research, propelling its development towards intelligence and efficiency. Currently, the development of AD technology follows two main technical paths: modularization and end-to-end. Modularization decompose the driving task into modules such as perception, prediction, planning, and control, and train them separately. Due to the inconsistency of training objectives between modules, the integrated effect suffers from bias. End-to-end attempts to address this issue by utilizing a single model that directly maps from sensor data to control signals. This path has limited learning capabilities in a comprehensive set of features and struggles to handle unpredictable long-tail events and complex urban traffic scenarios. In the face of challenges encountered in both paths, many researchers believe that large language models (LLMs) with powerful reasoning capabilities and extensive knowledge understanding may be the solution, expecting LLMs to provide AD systems with deeper levels of understanding and decision-making capabilities. In light of the challenges faced by both paths, many researchers believe that LLMs, with their powerful reasoning abilities and extensive knowledge, could offer a solution. To understand if LLMs could enhance AD, this paper conducts a thorough analysis of the potential applications of LLMs in AD systems, including exploring their optimization strategies in both modular and end-to-end approaches, with a particular focus on how LLMs can tackle the problems and challenges present in current solutions. Furthermore, we discuss an important question: Can LLM-based artificial general intelligence (AGI) be a key to achieve high-level AD? We further analyze the potential limitations and challenges that LLMs may encounter in promoting the development of AD technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google