Drive Like a Human: Rethinking Autonomous Driving with Large Language Models

要約

この論文では、大規模言語モデル (LLM) を使用して人間のような方法で運転環境を理解し、複雑なシナリオに直面したときに推論、解釈、記憶する能力を分析する可能性を探ります。
従来の最適化ベースのモジュール式自動運転 (AD) システムは、ロングテールのコーナーケースに対処する際に固有のパフォーマンス制限に直面すると主張します。
この問題に対処するために、私たちは、理想的な AD システムとは人間のように運転し、継続的な運転を通じて経験を蓄積し、常識を使って問題を解決するものであることを提案します。
この目標を達成するために、AD システムに必要な 3 つの主要な能力、推論、解釈、記憶を特定します。
私たちは、閉ループ システムを構築して LLM の理解力と環境との相互作用能力を示すことにより、運転シナリオで LLM を採用する実現可能性を実証します。
私たちの広範な実験により、LLM がロングテールのケースを推論して解決する優れた能力を示し、人間のような自動運転の開発に貴重な洞察を提供することが示されました。
関連コードは https://github.com/PJLab-ADG/DriveLikeAHuman で入手できます。

要約(オリジナル)

In this paper, we explore the potential of using a large language model (LLM) to understand the driving environment in a human-like manner and analyze its ability to reason, interpret, and memorize when facing complex scenarios. We argue that traditional optimization-based and modular autonomous driving (AD) systems face inherent performance limitations when dealing with long-tail corner cases. To address this problem, we propose that an ideal AD system should drive like a human, accumulating experience through continuous driving and using common sense to solve problems. To achieve this goal, we identify three key abilities necessary for an AD system: reasoning, interpretation, and memorization. We demonstrate the feasibility of employing an LLM in driving scenarios by building a closed-loop system to showcase its comprehension and environment-interaction abilities. Our extensive experiments show that the LLM exhibits the impressive ability to reason and solve long-tailed cases, providing valuable insights for the development of human-like autonomous driving. The related code are available at https://github.com/PJLab-ADG/DriveLikeAHuman .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google