LLM4Drive: A Survey of Large Language Models for Autonomous Driving

要約

交通機関と都市モビリティに革命をもたらす触媒である自動運転技術は、ルールベースのシステムからデータ駆動型の戦略に移行する傾向にあります。
従来のモジュールベースのシステムは、カスケードされたモジュール間の累積エラーと、事前に設定された柔軟性のないルールによって制約を受けます。
対照的に、エンドツーエンドの自動運転システムは、完全にデータ駆動型のトレーニング プロセスによりエラーの蓄積を回避できる可能性がありますが、「ブラック ボックス」の性質により透明性に欠けることが多く、意思決定の検証と追跡可能性が複雑になります。
最近、大規模言語モデル (LLM) には、コンテキストの理解、論理的推論、回答の生成などの機能が実証されています。
これらの能力を活用して自動運転を実現しようと考えるのは当然のことです。
LLM を基礎ビジョン モデルと組み合わせることで、現在の自動運転システムには欠けている、オープンワールドの理解、推論、少数ショット学習への扉が開かれる可能性があります。
この論文では、\textit{自動運転のための大型言語モデル (LLM4AD)} に関する研究ラインを系統的にレビューします。
この研究では、技術進歩の現状を評価し、この分野の主な課題と将来の方向性を明確に概説しています。
学界や産業界の研究者の便宜を図るため、指定されたリンク https://github.com/Thinklab-SJTU/Awesome- を介して、この分野の最新の進歩や関連するオープンソース リソースに関するリアルタイムの更新情報を提供します。
LLM4AD。

要約(オリジナル)

Autonomous driving technology, a catalyst for revolutionizing transportation and urban mobility, has the tend to transition from rule-based systems to data-driven strategies. Traditional module-based systems are constrained by cumulative errors among cascaded modules and inflexible pre-set rules. In contrast, end-to-end autonomous driving systems have the potential to avoid error accumulation due to their fully data-driven training process, although they often lack transparency due to their ‘black box’ nature, complicating the validation and traceability of decisions. Recently, large language models (LLMs) have demonstrated abilities including understanding context, logical reasoning, and generating answers. A natural thought is to utilize these abilities to empower autonomous driving. By combining LLM with foundation vision models, it could open the door to open-world understanding, reasoning, and few-shot learning, which current autonomous driving systems are lacking. In this paper, we systematically review a research line about \textit{Large Language Models for Autonomous Driving (LLM4AD)}. This study evaluates the current state of technological advancements, distinctly outlining the principal challenges and prospective directions for the field. For the convenience of researchers in academia and industry, we provide real-time updates on the latest advances in the field as well as relevant open-source resources via the designated link: https://github.com/Thinklab-SJTU/Awesome-LLM4AD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google