LVLM-MPC Collaboration for Autonomous Driving: A Safety-Aware and Task-Scalable Control Architecture

要約

このペーパーでは、自律運転（AD）のタスクのスケーラビリティと安全性の両方を提供する、新しい大型ビジョン言語モデル（LVLM）およびモデル予測制御（MPC）統合フレームワークを提案します。
LVLMSは、多様な運転シナリオ全体で高レベルのタスク計画に優れています。
ただし、これらの基礎モデルは運転用に特別に設計されておらず、その推論は低レベルのモーション計画の実現可能性と一致していないため、安全性とスムーズなタスクの切り替えに関する懸念は残っています。
このホワイトペーパーでは、LVLMSをMPCビルダーと統合します。MPCビルダーは、LVLMによって生成されたシンボリックタスクコマンドに基づいて、最適性と安全性を確保しながら、MPCをオンデマンドで自動的に生成します。
生成されたMPCは、指定されたタスクの実現可能性に関するフィードバックを提供し、タスクスイッチを認識したMPCを生成することにより、LVLM駆動型タスクスイッチングの実行または拒否を強く支援できます。
私たちのアプローチは、安全で柔軟で適応性のある制御フレームワークを提供し、最先端の基礎モデルと信頼できる車両操作とのギャップを埋めます。
シミュレーション実験を通じてアプローチの有効性を実証し、LVLMSの柔軟性と適応性を維持しながら、システムが高速道路の運転を安全かつ効果的に処理できることを示しています。

要約(オリジナル)

This paper proposes a novel Large Vision-Language Model (LVLM) and Model Predictive Control (MPC) integration framework that delivers both task scalability and safety for Autonomous Driving (AD). LVLMs excel at high-level task planning across diverse driving scenarios. However, since these foundation models are not specifically designed for driving and their reasoning is not consistent with the feasibility of low-level motion planning, concerns remain regarding safety and smooth task switching. This paper integrates LVLMs with MPC Builder, which automatically generates MPCs on demand, based on symbolic task commands generated by the LVLM, while ensuring optimality and safety. The generated MPCs can strongly assist the execution or rejection of LVLM-driven task switching by providing feedback on the feasibility of the given tasks and generating task-switching-aware MPCs. Our approach provides a safe, flexible, and adaptable control framework, bridging the gap between cutting-edge foundation models and reliable vehicle operation. We demonstrate the effectiveness of our approach through a simulation experiment, showing that our system can safely and effectively handle highway driving while maintaining the flexibility and adaptability of LVLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google