ASY-VRNet: Waterway Panoptic Driving Perception Model based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar

要約

パノプティック・ドライビング・パーセプション（PDP）は、無人水上バイク（USV）の自律航行にとって極めて重要である。PDPモデルは通常、複数のタスクを統合しており、下流の進路計画を容易にするために、様々な知覚タスクを同時にかつロバストに実行する必要があります。視覚センサとレーダセンサの融合は、ロバストで費用対効果の高いアプローチとして認知されています。しかし、既存の研究のほとんどは、物体検出に特化した視覚とレーダーの特徴を融合させるか、複数のタスクに共有特徴空間を利用することに主眼を置いており、様々なタスク間の個々の表現の違いは無視されている。このギャップに対処するため、我々は、物体検出とセマンティックセグメンテーションのタスクの特定の要件に合わせて、視覚とレーダーの両方のモダリティからの独立した特徴量と効率的に相互作用するように設計された、良好な説明可能性を持つ非対称公正融合（AFF）モジュールのペアを提案する。AFFモジュールは、画像とレーダーマップを不規則な点集合として扱い、これらの特徴をマルチタスクのための交差共有特徴空間に変換し、視覚とレーダー点群特徴の公平な扱いを保証する。AFFモジュールを活用し、不規則な超画素点集合に基づく画像とレーダーの特徴を処理する、新規で効率的なPDPモデルASY-VRNetを提案する。さらに、PDPモデルのために特別に設計された効果的なマルチタスク学習法を提案する。他の軽量モデルと比較して、ASY-VRNetはWaterScenesベンチマークにおいて、物体検出、セマンティックセグメンテーション、走行可能領域セグメンテーションにおいて最先端の性能を達成している。我々のプロジェクトは https://github.com/GuanRunwei/ASY-VRNet で公開されている。

要約(オリジナル)

Panoptic Driving Perception (PDP) is critical for the autonomous navigation of Unmanned Surface Vehicles (USVs). A PDP model typically integrates multiple tasks, necessitating the simultaneous and robust execution of various perception tasks to facilitate downstream path planning. The fusion of visual and radar sensors is currently acknowledged as a robust and cost-effective approach. However, most existing research has primarily focused on fusing visual and radar features dedicated to object detection or utilizing a shared feature space for multiple tasks, neglecting the individual representation differences between various tasks. To address this gap, we propose a pair of Asymmetric Fair Fusion (AFF) modules with favorable explainability designed to efficiently interact with independent features from both visual and radar modalities, tailored to the specific requirements of object detection and semantic segmentation tasks. The AFF modules treat image and radar maps as irregular point sets and transform these features into a crossed-shared feature space for multitasking, ensuring equitable treatment of vision and radar point cloud features. Leveraging AFF modules, we propose a novel and efficient PDP model, ASY-VRNet, which processes image and radar features based on irregular super-pixel point sets. Additionally, we propose an effective multitask learning method specifically designed for PDP models. Compared to other lightweight models, ASY-VRNet achieves state-of-the-art performance in object detection, semantic segmentation, and drivable-area segmentation on the WaterScenes benchmark. Our project is publicly available at https://github.com/GuanRunwei/ASY-VRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL