SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation and Prediction

要約

環境の高精細 (HD) セマンティック マップの生成は、自動運転に不可欠な要素です。
既存の方法は、LiDAR やカメラなどのさまざまなセンサー モダリティを融合することにより、このタスクで優れたパフォーマンスを達成しています。
ただし、現在の作業は生データまたはネットワーク機能レベルの融合に基づいており、短距離の HD マップ生成のみを考慮しており、現実的な自動運転アプリケーションへの展開を制限しています。
このホワイト ペーパーでは、短距離 (つまり 30 m 以内) の HD マップを構築するタスクと、90 m までの長距離 HD マップを予測するタスクに焦点を当てます。
自動運転のスムーズさと安全性。
この目的のために、LiDAR とカメラ データの融合を複数のレベルで活用する、SuperFusion という名前の新しいネットワークを提案します。
nuScenes データセットと自己記録データセットで SuperFusion のベンチマークを行い、最先端のベースライン手法よりも大きなマージンで優れていることを示しています。
さらに、長距離 HD マップ予測を評価し、生成された HD マップを下流の経路計画タスクに適用するための新しいメトリックを提案します。
結果は、私たちの方法で予測された長距離 HD マップを使用することで、自動運転車のより良い経路計画を作成できることを示しています。
コードは https://github.com/haomo-ai/SuperFusion で入手できます。

要約(オリジナル)

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins. Furthermore, we propose a new metric to evaluate the long-range HD map prediction and apply the generated HD map to a downstream path planning task. The results show that by using the long-range HD maps predicted by our method, we can make better path planning for autonomous vehicles. The code will be available at https://github.com/haomo-ai/SuperFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google