DRAMA: An Efficient End-to-end Motion Planner for Autonomous Driving with Mamba

要約

動作計画は、非常に動的で複雑な環境で安全で実行可能な軌道を生成する難しいタスクであり、自動運転車の中核機能を形成します。
この論文では、自動運転車向けの初の Mamba ベースのエンドツーエンド モーション プランナーである DRAMA を提案します。
DRAMA は、特徴空間内のカメラ、LiDAR 鳥瞰図画像、および自我ステータス情報を融合して、一連の将来の自我軌跡を生成します。
シーケンスの長さに対して 2 次の注意の複雑さを伴う従来のトランスフォーマーベースの手法とは異なり、DRAMA は、計算量が少ない注意の複雑さを実現することができ、ますます複雑化するシナリオに対処できる可能性を示しています。
DRAMA は、Mamba 融合モジュールを活用して、カメラと LiDAR モダリティの機能を効率的かつ効果的に融合します。
さらに、全体的な計画パフォーマンスを向上させる Mamba-Transformer デコーダーを導入します。
このモジュールは、あらゆる Transformer ベースのモデル、特に長いシーケンス入力を伴うタスクに広く適応できます。
さらに、トレーニング時間や推論時間を増やすことなくプランナーの堅牢性を向上させる、新しい機能状態ドロップアウトを導入します。
広範な実験結果は、DRAMA がベースラインの Transfuser と比較して、より少ないパラメータとより低い計算コストで、NAVSIM データセット上でより高い精度を達成することを示しています。

要約(オリジナル)

Motion planning is a challenging task to generate safe and feasible trajectories in highly dynamic and complex environments, forming a core capability for autonomous vehicles. In this paper, we propose DRAMA, the first Mamba-based end-to-end motion planner for autonomous vehicles. DRAMA fuses camera, LiDAR Bird’s Eye View images in the feature space, as well as ego status information, to generate a series of future ego trajectories. Unlike traditional transformer-based methods with quadratic attention complexity for sequence length, DRAMA is able to achieve a less computationally intensive attention complexity, demonstrating potential to deal with increasingly complex scenarios. Leveraging our Mamba fusion module, DRAMA efficiently and effectively fuses the features of the camera and LiDAR modalities. In addition, we introduce a Mamba-Transformer decoder that enhances the overall planning performance. This module is universally adaptable to any Transformer-based model, especially for tasks with long sequence inputs. We further introduce a novel feature state dropout which improves the planner’s robustness without increasing training and inference times. Extensive experimental results show that DRAMA achieves higher accuracy on the NAVSIM dataset compared to the baseline Transfuser, with fewer parameters and lower computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google