CALMM-Drive: Confidence-Aware Autonomous Driving with Large Multimodal Model

要約

意思決定とモーション計画は、自律車両（AV）の安全性と効率を確保するための重要なコンポーネントを構成します。
既存の方法論は通常、2つのパラダイムを採用します：決定、計画または生成、スコアリング。
ただし、以前のアーキテクチャは、危険な状況を引き起こす意思決定計画の不整合に苦しむことがよくあります。
一方、後者は短期的な運用指標（例えば、即時の動きの滑らかさ）と長期的な戦術目標（例：ルート効率）のバランスをとるのに苦労し、近視または過度に保守的な行動をもたらします。
これらの問題に対処するために、Calmm-driveを紹介します。Calmm-Driveは、自信を持っている大規模なマルチモーダルモデル（LMM）に力を与えられた自律運転フレームワークを紹介します。
私たちのアプローチは、タスク指向のチェーンオブチェーン（COT）の推論を統合し、Top-Kの信頼の誘発と相まって、高レベルの推論を促進し、信頼レベルで複数の候補者の決定を生成します。
さらに、軌道生成の拡散モデルと階層改良プロセスを統合して、最適な軌道を見つける新しい計画モジュールを提案します。
このフレームワークにより、低レベルのソリューション品質と高レベルの戦術的信頼の両方を考慮した軌跡候補に対する選択が可能になり、1ショットの決定内のリスクを回避し、近視のスコアリングメカニズムの制限を克服します。
Nuplanクローズドループシミュレーション環境での包括的な評価は、一般的なベンチマークと長期尾の両方のベンチマークにわたるCalmm-driveの競争力を示しており、LMMエンパワーされたAVSの不確実性の統合に大きな進歩を示しています。
コードは受け入れられるとリリースされます。

要約(オリジナル)

Decision-making and motion planning constitute critical components for ensuring the safety and efficiency of autonomous vehicles (AVs). Existing methodologies typically adopt two paradigms: decision then planning or generation then scoring. However, the former architecture often suffers from decision-planning misalignment that incurs risky situations. Meanwhile, the latter struggles to balance short-term operational metrics (e.g., immediate motion smoothness) with long-term tactical goals (e.g., route efficiency), resulting in myopic or overly conservative behaviors. To address these issues, we introduce CALMM-Drive, a novel Confidence-Aware Large Multimodal Model (LMM) empowered Autonomous Driving framework. Our approach integrates driving task-oriented Chain-of-Thought (CoT) reasoning coupled with Top-K confidence elicitation, which facilitates high-level reasoning to generate multiple candidate decisions with their confidence levels. Furthermore, we propose a novel planning module that integrates a diffusion model for trajectory generation and a hierarchical refinement process to find the optimal trajectory. This framework enables the selection over trajectory candidates accounting for both low-level solution quality and high-level tactical confidence, which avoids the risks within one-shot decisions and overcomes the limitations in short-sighted scoring mechanisms. Comprehensive evaluations in nuPlan closed-loop simulation environments demonstrate the competitive performance of CALMM-Drive across both common and long-tail benchmarks, showcasing a significant advancement in the integration of uncertainty in LMM-empowered AVs. The code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google