LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving

要約

既存の学習ベースの自動運転 (AD) システムは、高レベルの情報の理解、まれなイベントへの一般化、解釈可能性の提供において課題に直面しています。
これらの問題に対処するために、この研究では人間の常識的な理解を必要とする複雑な AD シナリオの意思決定コンポーネントとして大規模言語モデル (LLM) を採用しています。
私たちは、LLM を使用した包括的な推論を可能にする認知経路を考案し、LLM の決定を実行可能な運転コマンドに変換するアルゴリズムを開発します。
このアプローチを通じて、LLM の決定は、ガイド付きパラメーター マトリックス適応によって低レベルのコントローラーとシームレスに統合されます。
広範な実験により、私たちが提案した方法は、単一車両タスクにおけるベースラインアプローチを常に上回っているだけでなく、LLM の常識的推論機能のおかげで、複数車両の協調であっても複雑な運転挙動の処理に役立つことが実証されています。
このペーパーでは、安全性、効率性、汎用性、相互運用性の観点から、複雑な AD シナリオの効果的な意思決定者として LLM を活用するための最初のステップを示します。
私たちは、これがこの分野の将来の研究のインスピレーションとなることを望んでいます。
プロジェクトページ: https://sites.google.com/view/llm-mpc

要約(オリジナル)

Existing learning-based autonomous driving (AD) systems face challenges in comprehending high-level information, generalizing to rare events, and providing interpretability. To address these problems, this work employs Large Language Models (LLMs) as a decision-making component for complex AD scenarios that require human commonsense understanding. We devise cognitive pathways to enable comprehensive reasoning with LLMs, and develop algorithms for translating LLM decisions into actionable driving commands. Through this approach, LLM decisions are seamlessly integrated with low-level controllers by guided parameter matrix adaptation. Extensive experiments demonstrate that our proposed method not only consistently surpasses baseline approaches in single-vehicle tasks, but also helps handle complex driving behaviors even multi-vehicle coordination, thanks to the commonsense reasoning capabilities of LLMs. This paper presents an initial step toward leveraging LLMs as effective decision-makers for intricate AD scenarios in terms of safety, efficiency, generalizability, and interoperability. We aspire for it to serve as inspiration for future research in this field. Project page: https://sites.google.com/view/llm-mpc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google