MixSup: Mixed-grained Supervision for Label-efficient LiDAR-based 3D Object Detection

要約

ラベル効率の良い LiDAR ベースの 3D 物体検出は、現在、弱/半教師あり手法が主流です。
そのうちの 1 つに独占的に従うのではなく、混合粒状監視のために大量の安価な粗いラベルと限られた数の正確なラベルを同時に利用する、より実用的なパラダイムである MixSup を提案します。
まず、点群には通常テクスチャがないため、セマンティクスを学習することが困難であることを観察します。
ただし、点群は幾何学的に豊富で、センサーからの距離に対してスケールが不変であるため、姿勢や形状などのオブジェクトの幾何学を学習するのが比較的簡単です。
したがって、MixSup は、大量の粗いクラスター レベルのラベルを利用してセマンティクスを学習し、いくつかの高価なボックス レベルのラベルを利用して正確なポーズと形状を学習します。
主流の検出器のラベル割り当てを再設計し、MixSup にシームレスに統合できるようにし、実用性と汎用性を実現します。
さまざまな検出器を使用して、nuScenes、Waymo Open Dataset、KITTI でその有効性を検証します。
MixSup は、安価なクラスター アノテーションとわずか 10% のボックス アノテーションを使用して、完全監視パフォーマンスの最大 97.31% を達成します。
さらに、自動化された大まかなラベル付けのために、Segment Anything Model に基づいた PointSAM を提案し、アノテーションの負担をさらに軽減します。
コードは https://github.com/BraveGroup/PointSAM-for-MixSup で入手できます。

要約(オリジナル)

Label-efficient LiDAR-based 3D object detection is currently dominated by weakly/semi-supervised methods. Instead of exclusively following one of them, we propose MixSup, a more practical paradigm simultaneously utilizing massive cheap coarse labels and a limited number of accurate labels for Mixed-grained Supervision. We start by observing that point clouds are usually textureless, making it hard to learn semantics. However, point clouds are geometrically rich and scale-invariant to the distances from sensors, making it relatively easy to learn the geometry of objects, such as poses and shapes. Thus, MixSup leverages massive coarse cluster-level labels to learn semantics and a few expensive box-level labels to learn accurate poses and shapes. We redesign the label assignment in mainstream detectors, which allows them seamlessly integrated into MixSup, enabling practicality and universality. We validate its effectiveness in nuScenes, Waymo Open Dataset, and KITTI, employing various detectors. MixSup achieves up to 97.31% of fully supervised performance, using cheap cluster annotations and only 10% box annotations. Furthermore, we propose PointSAM based on the Segment Anything Model for automated coarse labeling, further reducing the annotation burden. The code is available at https://github.com/BraveGroup/PointSAM-for-MixSup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google