Efficient-VRNet: An Exquisite Fusion Network for Riverway Panoptic Perception based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar

要約

パノプティック認識は、自律航行のための無人水上車両 (USV) にとって不可欠です。
現在のパノプティック認識スキームは主に視覚のみに基づいており、オブジェクト検出とセマンティック セグメンテーションはカメラ センサーに基づいて同時に実行されます。
それにもかかわらず、カメラとレーダーセンサーの融合は、純粋な視覚手法に代わる可能性のある有望な手法とみなされていますが、ほとんどすべての研究は物体検出のみに焦点を当てています。
したがって、視覚とレーダーの機能を最大限かつ微妙に融合させて、検出とセグメンテーションの両方を向上させる方法が課題となります。
本稿では、道路のパノプティック知覚に比べてかなり未開発の分野である、USV に基づく河川のパノプティック知覚に焦点を当てます。
私たちは、コンテキスト クラスタリング (CoC) と、視覚と 4D ミリ波レーダーの非対称融合に基づいたモデルである Efficient-VRNet を提案します。これは、視覚とレーダーの両方のモダリティを公平に扱います。
Efficient-VRNet は、河川路オブジェクトの検出とセグメンテーション、および走行可能エリアのセグメンテーションを同時に実行できます。
さらに、Efficient-VRNet をトレーニングするために、不確実性ベースのパノプティック知覚トレーニング戦略を採用します。
実験では、当社の Efficient-VRNet は、収集したデータセットにおいて、特に悪天候や照明条件の悪い環境において、他のユニモーダル モデルよりも優れたパフォーマンスを達成しました。
コードとモデルは \url{https://github.com/GuanRunwei/Efficient-VRNet} で入手できます。

要約(オリジナル)

Panoptic perception is essential to unmanned surface vehicles (USVs) for autonomous navigation. The current panoptic perception scheme is mainly based on vision only, that is, object detection and semantic segmentation are performed simultaneously based on camera sensors. Nevertheless, the fusion of camera and radar sensors is regarded as a promising method which could substitute pure vision methods, but almost all works focus on object detection only. Therefore, how to maximize and subtly fuse the features of vision and radar to improve both detection and segmentation is a challenge. In this paper, we focus on riverway panoptic perception based on USVs, which is a considerably unexplored field compared with road panoptic perception. We propose Efficient-VRNet, a model based on Contextual Clustering (CoC) and the asymmetric fusion of vision and 4D mmWave radar, which treats both vision and radar modalities fairly. Efficient-VRNet can simultaneously perform detection and segmentation of riverway objects and drivable area segmentation. Furthermore, we adopt an uncertainty-based panoptic perception training strategy to train Efficient-VRNet. In the experiments, our Efficient-VRNet achieves better performances on our collected dataset than other uni-modal models, especially in adverse weather and environment with poor lighting conditions. Our code and models are available at \url{https://github.com/GuanRunwei/Efficient-VRNet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google