DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models

要約

自動運転の最近の進歩はデータ駆動型のアプローチに依存しており、広く採用されていますが、データセットの偏り、過剰適合、解釈不能などの課題に直面しています。
人間の運転の知識主導型の性質からインスピレーションを得て、同様の機能を自動運転システムにどのように組み込むかという問題を調査し、この問題に対処するための対話型環境、ドライバー エージェント、およびメモリ コンポーネントを統合するパラダイムをまとめます。
。
創発的な能力を備えた大規模言語モデル (LLM) を活用して、システムが常識的な知識に基づいて意思決定を実行し、継続的に進化できるようにする、Reasoning モジュールと Reflection モジュールを組み合わせた DiLu フレームワークを提案します。
広範な実験により、DiLu の経験を蓄積する能力が証明され、強化学習ベースの手法と比べて汎化能力において大きな利点があることが実証されました。
さらに、DiLu は実世界のデータセットから経験を直接取得できるため、実用的な自動運転システムに導入できる可能性が強調されます。
私たちの知る限り、当社は自動運転車の意思決定において知識主導型の機能を活用した最初の企業です。
提案された DiLu フレームワークを通じて、LLM は自動運転領域での知識の適用と因果関係の推論を強化されます。
プロジェクトページ：https://pjlab-adg.github.io/DiLu/

要約(オリジナル)

Recent advancements in autonomous driving have relied on data-driven approaches, which are widely adopted but face challenges including dataset bias, overfitting, and uninterpretability. Drawing inspiration from the knowledge-driven nature of human driving, we explore the question of how to instill similar capabilities into autonomous driving systems and summarize a paradigm that integrates an interactive environment, a driver agent, as well as a memory component to address this question. Leveraging large language models (LLMs) with emergent abilities, we propose the DiLu framework, which combines a Reasoning and a Reflection module to enable the system to perform decision-making based on common-sense knowledge and evolve continuously. Extensive experiments prove DiLu’s capability to accumulate experience and demonstrate a significant advantage in generalization ability over reinforcement learning-based methods. Moreover, DiLu is able to directly acquire experiences from real-world datasets which highlights its potential to be deployed on practical autonomous driving systems. To the best of our knowledge, we are the first to leverage knowledge-driven capability in decision-making for autonomous vehicles. Through the proposed DiLu framework, LLM is strengthened to apply knowledge and to reason causally in the autonomous driving domain. Project page: https://pjlab-adg.github.io/DiLu/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google