Generalized Few-Shot 3D Object Detection of LiDAR Point Cloud for Autonomous Driving

要約

近年、自動運転用の一般的なオブジェクト (車両や歩行者など) を認識するための 3D オブジェクト検出が大きな成功を収めています。
ただし、ほとんどの方法は、適切にラベル付けされた大量のトレーニング データに大きく依存しています。
これにより、緊急救助などの特別な場合に重要な、まれな細かい物体 (パトカーや救急車など) を検出する能力が制限されます。
一般的なオブジェクトとまれなオブジェクトの両方を同時に検出するために、一般化された少数ショット 3D オブジェクト検出と呼ばれる新しいタスクを提案します。このタスクでは、一般的な (基本) オブジェクトのトレーニング データは大量にありますが、まれなオブジェクトのデータはわずかです (
小説）クラス。
具体的には、画像と点群の詳細な違いを分析し、3D LiDAR データセットの少数ショット設定の実用的な原則を提示します。
このタスクを解決するために、(1) 既存の 3D 検出モデルを拡張して一般的なオブジェクトとまれなオブジェクトの両方を認識するインクリメンタルな微調整方法、および (2) を軽減するためのサンプル適応バランス損失を含む、シンプルで効果的な検出フレームワークを提案します。
自動運転シナリオにおけるロングテール データ分布の問題。
nuScenes データセットで十分な実験を行い、一般的なオブジェクトの検出精度を維持しながら、少数のトレーニング データのみを含むまれな (新しい) クラスをこのアプローチで検出できることを実証します。

要約(オリジナル)

Recent years have witnessed huge successes in 3D object detection to recognize common objects for autonomous driving (e.g., vehicles and pedestrians). However, most methods rely heavily on a large amount of well-labeled training data. This limits their capability of detecting rare fine-grained objects (e.g., police cars and ambulances), which is important for special cases, such as emergency rescue, and so on. To achieve simultaneous detection for both common and rare objects, we propose a novel task, called generalized few-shot 3D object detection, where we have a large amount of training data for common (base) objects, but only a few data for rare (novel) classes. Specifically, we analyze in-depth differences between images and point clouds, and then present a practical principle for the few-shot setting in the 3D LiDAR dataset. To solve this task, we propose a simple and effective detection framework, including (1) an incremental fine-tuning method to extend existing 3D detection models to recognize both common and rare objects, and (2) a sample adaptive balance loss to alleviate the issue of long-tailed data distribution in autonomous driving scenarios. On the nuScenes dataset, we conduct sufficient experiments to demonstrate that our approach can successfully detect the rare (novel) classes that contain only a few training data, while also maintaining the detection accuracy of common objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google