DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models

要約

自動運転の最近の進歩はデータ駆動型のアプローチに依存しており、広く採用されていますが、データセットの偏り、過剰適合、解釈不能などの課題に直面しています。
人間の運転の知識主導型の性質からインスピレーションを得て、同様の機能を自動運転システムにどのように組み込むかという問題を調査し、この問題に対処するための対話型環境、ドライバー エージェント、およびメモリ コンポーネントを統合するパラダイムをまとめます。
。
創発的な能力を備えた大規模な言語モデルを活用して、システムが常識的な知識に基づいて意思決定を実行し、継続的に進化できるようにする推論モジュールと反映モジュールを組み合わせた DiLu フレームワークを提案します。
広範な実験により、DiLu の経験を蓄積する能力が証明され、強化学習ベースの手法と比べて汎化能力において大きな利点があることが実証されました。
さらに、DiLu は実世界のデータセットから経験を直接取得できるため、実用的な自動運転システムに導入できる可能性が強調されます。
私たちの知る限り、私たちは人間がどのように運転するかという観点から自動運転システムに知識駆動型の機能を組み込んだ最初の企業です。

要約(オリジナル)

Recent advancements in autonomous driving have relied on data-driven approaches, which are widely adopted but face challenges including dataset bias, overfitting, and uninterpretability. Drawing inspiration from the knowledge-driven nature of human driving, we explore the question of how to instill similar capabilities into autonomous driving systems and summarize a paradigm that integrates an interactive environment, a driver agent, as well as a memory component to address this question. Leveraging large language models with emergent abilities, we propose the DiLu framework, which combines a Reasoning and a Reflection module to enable the system to perform decision-making based on common-sense knowledge and evolve continuously. Extensive experiments prove DiLu’s capability to accumulate experience and demonstrate a significant advantage in generalization ability over reinforcement learning-based methods. Moreover, DiLu is able to directly acquire experiences from real-world datasets which highlights its potential to be deployed on practical autonomous driving systems. To the best of our knowledge, we are the first to instill knowledge-driven capability into autonomous driving systems from the perspective of how humans drive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google