LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

要約

マルチモーダル大規模言語モデル ((M)LLM) の出現は、強化された理解力と推論機能を提供することで、特に自動運転において、人工知能の新たな道を切り開きました。
このペーパーでは、自動運転における (M)LLM のアプリケーション向けに設計された LimSim の拡張バージョンである LimSim++ について紹介します。
LimSim++ は、既存のシミュレーション プラットフォームの限界を認識し、自動運転における継続的な学習と改善された一般化をサポートする長期的な閉ループ インフラストラクチャのニーズに対処します。
このプラットフォームは、長時間にわたるマルチシナリオのシミュレーションを提供し、(M)LLM 駆動車両に重要な情報を提供します。
ユーザーは迅速なエンジニアリング、モデル評価、フレームワークの強化に取り組むことができ、LimSim++ を研究と実践のための多用途ツールにします。
このペーパーではさらに、さまざまなシナリオにわたる定量的実験を通じて体系的に検証された、ベースライン (M)LLM 主導のフレームワークを紹介します。
LimSim++ のオープンソース リソースは、https://pjlab-adg.github.io/limsim-plus/ から入手できます。

要約(オリジナル)

The emergence of Multimodal Large Language Models ((M)LLMs) has ushered in new avenues in artificial intelligence, particularly for autonomous driving by offering enhanced understanding and reasoning capabilities. This paper introduces LimSim++, an extended version of LimSim designed for the application of (M)LLMs in autonomous driving. Acknowledging the limitations of existing simulation platforms, LimSim++ addresses the need for a long-term closed-loop infrastructure supporting continuous learning and improved generalization in autonomous driving. The platform offers extended-duration, multi-scenario simulations, providing crucial information for (M)LLM-driven vehicles. Users can engage in prompt engineering, model evaluation, and framework enhancement, making LimSim++ a versatile tool for research and practice. This paper additionally introduces a baseline (M)LLM-driven framework, systematically validated through quantitative experiments across diverse scenarios. The open-source resources of LimSim++ are available at: https://pjlab-adg.github.io/limsim-plus/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google