ZFusion: An Effective Fuser of Camera and 4D Radar for 3D Object Perception in Autonomous Driving

要約

信頼できる3Dオブジェクトの知覚は、自律運転に不可欠です。
すべての気象条件での検知能力により、4Dレーダーは最近多くの注目を集めています。
ただし、LIDARと比較して、4Dレーダーは非常にスパースなポイントクラウドを提供します。
この論文では、4Dレーダーと視覚モダリティを融合するzFusionと呼ばれる3Dオブジェクト検出方法を提案します。
ZFusionのコアとして、提案されているFP-DDCA（特徴ピラミッドダブル変形可能な交差注意）フューザーは、（まばらな）レーダー情報と（密な）ビジョン情報を効果的に補完します。
具体的には、FP-DDCAフューザーは、機能ピラミッド構造を使用して、変圧器ブロックをパックして、異なるスケールでマルチモーダル機能をインタラクティブに融合し、知覚精度を向上させます。
さらに、4Dレーダーの物理的特性のために、深度コンテキストスプリットビュー変換モジュールを利用します。
4Dレーダーのリダーよりもはるかに低いコストがあることを考慮すると、ZFusionはLIDARベースの方法に代わる魅力的な代替品です。
VOD（View-of-Delft）データセットなどの典型的なトラフィックシナリオでは、実験では、合理的な推論速度で、ZFusionが関心のある領域で最先端のマップ（平均平均精度）を達成し、Lidarに近いパフォーマンスを実証するベースラインメソッドと比較して、領域全体で競争力のあるマップを達成したことが示されています。

要約(オリジナル)

Reliable 3D object perception is essential in autonomous driving. Owing to its sensing capabilities in all weather conditions, 4D radar has recently received much attention. However, compared to LiDAR, 4D radar provides much sparser point cloud. In this paper, we propose a 3D object detection method, termed ZFusion, which fuses 4D radar and vision modality. As the core of ZFusion, our proposed FP-DDCA (Feature Pyramid-Double Deformable Cross Attention) fuser complements the (sparse) radar information and (dense) vision information, effectively. Specifically, with a feature-pyramid structure, the FP-DDCA fuser packs Transformer blocks to interactively fuse multi-modal features at different scales, thus enhancing perception accuracy. In addition, we utilize the Depth-Context-Split view transformation module due to the physical properties of 4D radar. Considering that 4D radar has a much lower cost than LiDAR, ZFusion is an attractive alternative to LiDAR-based methods. In typical traffic scenarios like the VoD (View-of-Delft) dataset, experiments show that with reasonable inference speed, ZFusion achieved the state-of-the-art mAP (mean average precision) in the region of interest, while having competitive mAP in the entire area compared to the baseline methods, which demonstrates performance close to LiDAR and greatly outperforms those camera-only methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google