LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

要約

マルチモーダル大規模言語モデル（(M)LLM）の出現は、人工知能、特に自律走行に理解と推論能力を強化することで、新たな道を切り開いた。本稿では、自律走行における(M)LLMの応用のために設計されたLimSimの拡張版であるLimSim++を紹介する。既存のシミュレーションプラットフォームの限界を認識した上で、LimSim++は、自律走行における継続的な学習と改善された汎化をサポートする長期的な閉ループインフラの必要性に対処する。このプラットフォームは、長期間のマルチシナリオシミュレーションを提供し、(M)LLM駆動車両にとって重要な情報を提供します。ユーザは、迅速なエンジニアリング、モデル評価、フレームワークの強化に取り組むことができ、LimSim++は研究と実践のための多用途なツールとなっている。本稿ではさらに、多様なシナリオにわたる定量的実験を通じて体系的に検証された、ベースラインの(M)LLM駆動フレームワークを紹介する。LimSim++のオープンソースリソースは、https://pjlab-adg.github.io/limsim_plus/。

要約(オリジナル)

The emergence of Multimodal Large Language Models ((M)LLMs) has ushered in new avenues in artificial intelligence, particularly for autonomous driving by offering enhanced understanding and reasoning capabilities. This paper introduces LimSim++, an extended version of LimSim designed for the application of (M)LLMs in autonomous driving. Acknowledging the limitations of existing simulation platforms, LimSim++ addresses the need for a long-term closed-loop infrastructure supporting continuous learning and improved generalization in autonomous driving. The platform offers extended-duration, multi-scenario simulations, providing crucial information for (M)LLM-driven vehicles. Users can engage in prompt engineering, model evaluation, and framework enhancement, making LimSim++ a versatile tool for research and practice. This paper additionally introduces a baseline (M)LLM-driven framework, systematically validated through quantitative experiments across diverse scenarios. The open-source resources of LimSim++ are available at: https://pjlab-adg.github.io/limsim_plus/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL