Enhancing Autonomous Driving Systems with On-Board Deployed Large Language Models

要約

すべてのエッジケースをカバーする徹底的なデータセットの扱いやすさ、知識主導のアプローチを作成するために、現実世界の運転で一般的なエッジケースシナリオの管理との監督された学習闘争を通じて訓練されたニューラルネットワーク（NNS）は、人間が予期せぬ運転行動を直感的に検出し、データ主導型の方法に適した補完を検出する方法に似ています。
この作業では、低レベルモデルの予測コントローラー（MPC）とローカルに展開された大規模な言語モデル（LLMS）を組み合わせて、意思決定と人間の機械の相互作用（HMI）を強化するハイブリッドアーキテクチャを提案しています。
DecisionXLLMモジュールは、自然言語の指示に対してロボット状態情報を評価して、望ましい運転行動への順守を確保します。
MPCXLLMモジュールは、LLMで生成された洞察に基づいてMPCパラメーターを調整し、従来のMPCシステムの安全性と制約保証を維持しながら、制御適応性を実現します。
さらに、効率的なオンボード展開を可能にし、クラウド接続への依存を排除​​するために、処理をオンボードコンピューティングプラットフォームにシフトします。検索拡張生成（RAG）、低ランク適応（LORA）微調整、および量子化を活用するアプローチを提案します。
実験結果は、これらの強化により、推論精度が最大10.45％、最大52.2％、最大10.5倍の計算効率（トークン/s）の増加（トークン/s）が大幅に改善され、ダウンスケールのロボットプラットフォームでもリアルタイムの展開のための提案されたフレームワークの実用性を検証することが示されています。
この作業は、低レベルの制御適応性を備えた高レベルの意思決定を橋渡しし、知識駆動型の適応的自律駆動システム（ADS）の相乗的なフレームワークを提供します。

要約(オリジナル)

Neural Networks (NNs) trained through supervised learning struggle with managing edge-case scenarios common in real-world driving due to the intractability of exhaustive datasets covering all edge-cases, making knowledge-driven approaches, akin to how humans intuitively detect unexpected driving behavior, a suitable complement to data-driven methods. This work proposes a hybrid architecture combining low-level Model Predictive Controller (MPC) with locally deployed Large Language Models (LLMs) to enhance decision-making and Human Machine Interaction (HMI). The DecisionxLLM module evaluates robotic state information against natural language instructions to ensure adherence to desired driving behavior. The MPCxLLM module then adjusts MPC parameters based on LLM-generated insights, achieving control adaptability while preserving the safety and constraint guarantees of traditional MPC systems. Further, to enable efficient on-board deployment and to eliminate dependency on cloud connectivity, we shift processing to the on-board computing platform: We propose an approach that exploits Retrieval Augmented Generation (RAG), Low Rank Adaptation (LoRA) fine-tuning, and quantization. Experimental results demonstrate that these enhancements yield significant improvements in reasoning accuracy by up to 10.45%, control adaptability by as much as 52.2%, and up to 10.5x increase in computational efficiency (tokens/s), validating the proposed framework’s practicality for real-time deployment even on down-scaled robotic platforms. This work bridges high-level decision-making with low-level control adaptability, offering a synergistic framework for knowledge-driven and adaptive Autonomous Driving Systems (ADS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google