CALMM-Drive: Confidence-Aware Autonomous Driving with Large Multimodal Model

要約

意思決定と動作計画は、自動運転車 (AV) の安全性と効率性を確保する上で極めて重要です。
既存の方法論では通常、決定、計画、または生成、スコアという 2 つのパラダイムが採用されています。
しかし、前者は意思決定と計画のずれに悩むことが多く、後者は短期的な作戦上の有用性と長期的な戦術上の有効性を統合する際に大きな課題に直面する。
これらの問題に対処するために、当社は、自信を認識した大規模マルチモーダル モデル (LMM) を強化した新しい自動運転フレームワークである CALMM-Drive を導入します。
私たちのアプローチでは、Top-K の信頼性導出を採用しており、複数の候補の決定とその信頼性レベルの生成を容易にします。
さらに、軌道生成のための拡散モデルと最適な経路を見つけるための階層的改良プロセスを統合する新しい計画モジュールを提案します。
このフレームワークにより、低レベルのソリューション品質と高レベルの戦術的信頼性の両方を考慮した最適な計画の選択が可能になり、一発決定のリスクが軽減され、近視眼的なスコアリングメカニズムによって引き起こされる制限が克服されます。
nuPlan 閉ループ シミュレーション環境での包括的な評価は、信頼性が高く柔軟な運転パフォーマンスを実現する CALMM-Drive の有効性を実証し、LMM を活用した AV における不確実性の統合における大幅な進歩を示しています。
コードは承認され次第公開されます。

要約(オリジナル)

Decision-making and motion planning are pivotal in ensuring the safety and efficiency of Autonomous Vehicles (AVs). Existing methodologies typically adopt two paradigms: decision then planning or generation then scoring. However, the former often struggles with misalignment between decisions and planning, while the latter encounters significant challenges in integrating short-term operational utility with long-term tactical efficacy. To address these issues, we introduce CALMM-Drive, a novel Confidence-Aware Large Multimodal Model (LMM) empowered Autonomous Driving framework. Our approach employs Top-K confidence elicitation, which facilitates the generation of multiple candidate decisions along with their confidence levels. Furthermore, we propose a novel planning module that integrates a diffusion model for trajectory generation and a hierarchical refinement process to find the optimal path. This framework enables the selection of the best plan accounting for both low-level solution quality and high-level tactical confidence, which mitigates the risks of one-shot decisions and overcomes the limitations induced by short-sighted scoring mechanisms. Comprehensive evaluations in nuPlan closed-loop simulation environments demonstrate the effectiveness of CALMM-Drive in achieving reliable and flexible driving performance, showcasing a significant advancement in the integration of uncertainty in LMM-empowered AVs. The code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google