Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active Learning

要約

我々は、モデル開発中に収集されたデータのすべてのモダリティを活用する、LiDAR ガイダンス (MonoLiG) を備えた単眼 3D オブジェクト検出のための新しい半教師ありアクティブ ラーニング (SSAL) フレームワークを提案します。
LiDAR を利用して、推論段階でオーバーヘッドを発生させることなく、単眼 3D 検出器のデータ選択とトレーニングをガイドします。
トレーニング中に、半教師あり学習から LiDAR の教師、単眼の生徒のクロスモーダル フレームワークを活用して、ラベルのないデータから疑似ラベルとして情報を抽出します。
センサー特性の違いに対処するために、LiDAR モダリティから単眼への伝播ノイズの影響を軽減するデータ ノイズ ベースの重み付けメカニズムを提案します。
モデルのパフォーマンスを向上させるためにどのサンプルにラベルを付けるかを選択するために、トレーニング目標とも一貫したセンサーの一貫性に基づく選択スコアを提案します。
KITTI と Waymo データセットに関する広範な実験結果により、私たちが提案したフレームワークの有効性が検証されています。
特に、当社の選択戦略は常に最先端のアクティブ ラーニング ベースラインを上回り、ラベル付けコストの節約率が最大 17% 向上しました。
当社のトレーニング戦略は、BEV 平均精度 (AP) を 2.02 向上させることで、KITTI 3D および鳥瞰図 (BEV) 単眼物体検出の公式ベンチマークでトップの座を獲得しました。

要約(オリジナル)

We propose a novel semi-supervised active learning (SSAL) framework for monocular 3D object detection with LiDAR guidance (MonoLiG), which leverages all modalities of collected data during model development. We utilize LiDAR to guide the data selection and training of monocular 3D detectors without introducing any overhead in the inference phase. During training, we leverage the LiDAR teacher, monocular student cross-modal framework from semi-supervised learning to distill information from unlabeled data as pseudo-labels. To handle the differences in sensor characteristics, we propose a data noise-based weighting mechanism to reduce the effect of propagating noise from LiDAR modality to monocular. For selecting which samples to label to improve the model performance, we propose a sensor consistency-based selection score that is also coherent with the training objective. Extensive experimental results on KITTI and Waymo datasets verify the effectiveness of our proposed framework. In particular, our selection strategy consistently outperforms state-of-the-art active learning baselines, yielding up to 17% better saving rate in labeling costs. Our training strategy attains the top place in KITTI 3D and birds-eye-view (BEV) monocular object detection official benchmarks by improving the BEV Average Precision (AP) by 2.02.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google