RADLER: Radar Object Detection Leveraging Semantic 3D City Models and Self-Supervised Radar-Image Learning

要約

セマンティック3Dシティモデルは、世界的に簡単にアクセス可能で、正確でオブジェクト指向の、セマンティックリッチリッチな3Dプライアーを提供します。
現在までに、レーダーオブジェクトの検出に対するノイズの影響を軽減する可能性は、未調査のままです。
このホワイトペーパーでは、54K同期レーダーイメージペアとセマンティックな3D都市モデルで構成される一意のデータセット、レーダルシティを紹介します。
さらに、私たちは、歩行者、サイクリスト、車のレーダーオブジェクトの検出を強化するために、対照的な自己監視学習（SSL）およびセマンティック3D都市モデルの有効性を活用する新しいニューラルネットワークであるRadlerを提案します。
具体的には、まず、レーダーイメージの口論タスクでSSLネットワークを介して堅牢なレーダー機能を取得します。
次に、シンプルでありながら効果的な機能融合戦略を使用して、セマンティック3D Cityモデルのセマンティック詳細機能を組み込みます。
ガイダンスとして以前の3D情報を持っているRadlerは、レーダーオブジェクトの検出を強化するために、より微調整された詳細を取得します。
収集されたレーダルシティデータセットでRadlerを広範囲に評価し、平均avarage精度（MAP）で5.46％の平均改善と、以前のレーダーオブジェクト検出方法における平均アバレージリコール（MAR）で3.51％の平均改善を示します。
この作業は、セマンティックガイドおよびマップサポートされたレーダーオブジェクトの検出に関するさらなる研究を促進すると考えています。
プロジェクトページは、公開されています。

要約(オリジナル)

Semantic 3D city models are worldwide easy-accessible, providing accurate, object-oriented, and semantic-rich 3D priors. To date, their potential to mitigate the noise impact on radar object detection remains under-explored. In this paper, we first introduce a unique dataset, RadarCity, comprising 54K synchronized radar-image pairs and semantic 3D city models. Moreover, we propose a novel neural network, RADLER, leveraging the effectiveness of contrastive self-supervised learning (SSL) and semantic 3D city models to enhance radar object detection of pedestrians, cyclists, and cars. Specifically, we first obtain the robust radar features via a SSL network in the radar-image pretext task. We then use a simple yet effective feature fusion strategy to incorporate semantic-depth features from semantic 3D city models. Having prior 3D information as guidance, RADLER obtains more fine-grained details to enhance radar object detection. We extensively evaluate RADLER on the collected RadarCity dataset and demonstrate average improvements of 5.46% in mean avarage precision (mAP) and 3.51% in mean avarage recall (mAR) over previous radar object detection methods. We believe this work will foster further research on semantic-guided and map-supported radar object detection. Our project page is publicly available athttps://gpp-communication.github.io/RADLER .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google