SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation

要約

環境の高解像度 (HD) セマンティック マップの生成は、自動運転の重要な要素です。
既存の手法は、LiDAR やカメラなどのさまざまなセンサー モダリティを融合することで、このタスクで優れたパフォーマンスを達成しています。
ただし、現在の研究は生データまたはネットワーク機能レベルの融合に基づいており、短距離 HD マップの生成のみを考慮しており、その展開は現実的な自動運転アプリケーションに限定されています。
この論文では、短距離 (つまり 30 m 以内) の両方で HD マップを構築するタスクと、下流の経路計画と制御タスクで必要とされる最大 90 m の長距離 HD マップを予測するタスクに焦点を当てます。
自動運転のスムーズさと安全性。
この目的を達成するために、私たちは、複数のレベルで LiDAR とカメラ データの融合を活用する、SuperFusion という名前の新しいネットワークを提案します。
LiDAR 深度を使用して画像深度推定を改善し、画像特徴を使用して長距離 LiDAR 特徴予測をガイドします。
nuScenes データセットと自己記録データセットで SuperFusion をベンチマークし、すべての間隔で大きなマージンで最先端のベースライン手法を上回るパフォーマンスを示しました。
さらに、生成された HD マップを下流の経路計画タスクに適用し、私たちの方法で予測された長距離 HD マップが自動運転車のより適切な経路計画につながる可能性があることを示しています。
私たちのコードは https://github.com/haomo-ai/SuperFusion でリリースされました。

要約(オリジナル)

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We use LiDAR depth to improve image depth estimation and use image features to guide long-range LiDAR feature prediction. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins on all intervals. Additionally, we apply the generated HD map to a downstream path planning task, demonstrating that the long-range HD maps predicted by our method can lead to better path planning for autonomous vehicles. Our code has been released at https://github.com/haomo-ai/SuperFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google