FusionAD: Multi-modality Fusion for Prediction and Planning Tasks of Autonomous Driving

要約

マルチモダリティ・マルチタスク・ニューラルネットワークを構築し、正確でロバストな性能を実現することは、自律走行における知覚タスクのデファクトスタンダードである。しかし、複数のセンサーからのデータを活用し、予測タスクと計画タスクを共同で最適化することは、まだほとんど研究されていない。本論文では、我々の知る限り、カメラとLiDARという最も重要な2つのセンサーからの情報を融合する、知覚タスクに留まらない初めての統一フレームワークであるFusionADを紹介する。具体的には、まず変換器ベースのマルチモダリティ融合ネットワークを構築し、融合に基づく特徴を効果的に生成します。カメラベースのEnd-to-End手法UniADとは対照的に、マルチモダリティ特徴の利点を生かしたFMSPnPと名付けられた、融合支援型モダリティ認識予測および状態認識計画モジュールを確立する。一般的に使用されるベンチマークデータセットであるnuScenesを用いて広範な実験を行った結果、我々のFusionADは最先端の性能を達成し、検出や追跡のような知覚タスクにおいて平均15%、占有率予測精度において10%、ADEスコアにおいて予測誤差を0.708から0.389に減少させ、衝突率を0.31%からわずか0.12%に減少させた。

要約(オリジナル)

Building a multi-modality multi-task neural network toward accurate and robust performance is a de-facto standard in perception task of autonomous driving. However, leveraging such data from multiple sensors to jointly optimize the prediction and planning tasks remains largely unexplored. In this paper, we present FusionAD, to the best of our knowledge, the first unified framework that fuse the information from two most critical sensors, camera and LiDAR, goes beyond perception task. Concretely, we first build a transformer based multi-modality fusion network to effectively produce fusion based features. In constrast to camera-based end-to-end method UniAD, we then establish a fusion aided modality-aware prediction and status-aware planning modules, dubbed FMSPnP that take advantages of multi-modality features. We conduct extensive experiments on commonly used benchmark nuScenes dataset, our FusionAD achieves state-of-the-art performance and surpassing baselines on average 15% on perception tasks like detection and tracking, 10% on occupancy prediction accuracy, reducing prediction error from 0.708 to 0.389 in ADE score and reduces the collision rate from 0.31% to only 0.12%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL