Reviewing 3D Object Detectors in the Context of High-Resolution 3+1D Radar

要約

最近の開発と高解像度イメージング 4D (3+1D) レーダー センサーの市場導入の開始により、深層学習ベースのレーダー知覚研究が開始されました。
私たちは、3D 物体検出のためにレーダー点群上で動作する深層学習ベースのモデルを調査します。
LIDAR 点群データ上の 3D オブジェクト検出は、3D ビジョンの成熟した領域です。
多くの異なるアーキテクチャが提案されており、それぞれに長所と短所があります。
3D LIDAR 点群と 3+1D レーダー点群は類似しているため、これらの既存の 3D オブジェクト検出器は、レーダー データに対してディープラーニング ベースの 3D オブジェクト検出を開始するための自然な基盤となります。
したがって、最初のステップは、新しいデータ モダリティでの既存モデルの検出パフォーマンスを分析し、それらを詳細に評価することです。
LIDAR 点群用に開発された既存の 3D 点群物体検出器をレーダー領域に適用するには、まずそれらを適応させる必要があります。
PointPillars などの一部の検出器はすでにレーダー データに適用できるように適応されていますが、Voxel R-CNN、SECOND、PointRCNN、PV-RCNN などの他の検出器も適応させています。
この目的を達成するために、クロスモデル検証 (1 つの特定のデータセットでモデルのセットを評価) とクロスデータセット検証 (複数のデータセットでモデルセット内のすべてのモデルを評価) を実行します。
使用される高解像度レーダー データは、View-of-Delft および Astyx データ セットです。
最後に、モデルとそのトレーニング手順のいくつかの適応を評価します。
また、レーダー データの検出パフォーマンスに影響を与える主な要因についても説明し、将来の研究手段の可能性を示す考えられる解決策を提案します。

要約(オリジナル)

Recent developments and the beginning market introduction of high-resolution imaging 4D (3+1D) radar sensors have initialized deep learning-based radar perception research. We investigate deep learning-based models operating on radar point clouds for 3D object detection. 3D object detection on lidar point cloud data is a mature area of 3D vision. Many different architectures have been proposed, each with strengths and weaknesses. Due to similarities between 3D lidar point clouds and 3+1D radar point clouds, those existing 3D object detectors are a natural basis to start deep learning-based 3D object detection on radar data. Thus, the first step is to analyze the detection performance of the existing models on the new data modality and evaluate them in depth. In order to apply existing 3D point cloud object detectors developed for lidar point clouds to the radar domain, they need to be adapted first. While some detectors, such as PointPillars, have already been adapted to be applicable to radar data, we have adapted others, e.g., Voxel R-CNN, SECOND, PointRCNN, and PV-RCNN. To this end, we conduct a cross-model validation (evaluating a set of models on one particular data set) as well as a cross-data set validation (evaluating all models in the model set on several data sets). The high-resolution radar data used are the View-of-Delft and Astyx data sets. Finally, we evaluate several adaptations of the models and their training procedures. We also discuss major factors influencing the detection performance on radar data and propose possible solutions indicating potential future research avenues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google