Point-DETR3D: Leveraging Imagery Data with Spatial Point Prior for Weakly Semi-supervised 3D Object Detection

要約

高精度 3D 検出器をトレーニングするには、7 自由度の大量のラベル付き 3D アノテーションが必要ですが、これには労力と時間がかかります。
したがって、ポイントアノテーションの形式は、よりアクセスしやすく、より安価であるだけでなく、オブジェクトの位置特定のための強力な空間情報を提供する、3D 検出での実用的なアプリケーションへの大きな展望を提供するために提案されています。この論文では、私たちはそれが非現実的であることを経験的に発見しました。
Point-DETR をその 3D 形式に適応させるだけでは簡単ですが、2 つの主なボトルネックに遭遇します。1) モデルに事前に強力な 3D をエンコードできない、2) 極端な希薄さのため、離れた領域に低品質の疑似ラベルが生成されます。
LiDAR ポイント。
これらの課題を克服するために、私たちは、弱い半教師あり 3D 検出のための教師と生徒のフレームワークである Point-DETR3D を導入します。これは、制約されたインスタンスごとのアノテーション予算内でポイントごとの監視を最大限に活用するように設計されています。3D をエンコードする Point-DETR とは異なります。
ポイントエンコーダのみを介して位置情報を取得する場合、位置事前確率を強化するための明示的な位置クエリ初期化戦略を提案します。
教師モデルによって生成された遠方領域の疑似ラベルの品質が低いことを考慮して、新しいクロスモーダル変形可能 RoI フュージョン (D-RoI) を通じて高密度の画像データを組み込むことで、検出器の認識を強化しました。
教師あり学習手法は、学生モデルであってもポイント事前分布を完全に活用できるように提案されています。代表的な nuScenes データセットに対する広範な実験により、Point-DETR3D が以前の研究と比較して大幅な改善が得られることが実証されました。
特に、Point-DETR3D は、わずか 5% のラベル付きデータで、完全に監視された対応物の 90% 以上のパフォーマンスを達成します。

要約(オリジナル)

Training high-accuracy 3D detectors necessitates massive labeled 3D annotations with 7 degree-of-freedom, which is laborious and time-consuming. Therefore, the form of point annotations is proposed to offer significant prospects for practical applications in 3D detection, which is not only more accessible and less expensive but also provides strong spatial information for object localization.In this paper, we empirically discover that it is non-trivial to merely adapt Point-DETR to its 3D form, encountering two main bottlenecks: 1) it fails to encode strong 3D prior into the model, and 2) it generates low-quality pseudo labels in distant regions due to the extreme sparsity of LiDAR points. To overcome these challenges, we introduce Point-DETR3D, a teacher-student framework for weakly semi-supervised 3D detection, designed to fully capitalize on point-wise supervision within a constrained instance-wise annotation budget.Different from Point-DETR which encodes 3D positional information solely through a point encoder, we propose an explicit positional query initialization strategy to enhance the positional prior. Considering the low quality of pseudo labels at distant regions produced by the teacher model, we enhance the detector’s perception by incorporating dense imagery data through a novel Cross-Modal Deformable RoI Fusion (D-RoI).Moreover, an innovative point-guided self-supervised learning technique is proposed to allow for fully exploiting point priors, even in student models.Extensive experiments on representative nuScenes dataset demonstrate our Point-DETR3D obtains significant improvements compared to previous works. Notably, with only 5% of labeled data, Point-DETR3D achieves over 90% performance of its fully supervised counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google