Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection

要約

3D 物体検出は、関連する物体の 3D 情報を復元することを目的としており、自動運転認識の基本的なタスクとして機能します。
そのパフォーマンスはラベル付きトレーニング データの規模に大きく依存しますが、点群データに対する高品質のアノテーションを取得するにはコストがかかります。
従来の方法は、トレーニングの補足としてラベルのないサンプルの疑似ラベルを生成することに重点を置いていますが、3D 点群データの構造的性質により、オブジェクトと背景の合成が容易になり、現実的なシーンを合成できます。
これを動機として、検出モデルの一般化を改善するために適応合成シーンを生成する硬度認識シーン合成 (HASS) 手法を提案します。
ラベルのないオブジェクトの擬似ラベルを取得し、オブジェクトと背景の異なる構成を持つ多様なシーンを生成します。
シーン合成は擬似ラベルの品質に敏感であるため、低品質の擬似ラベルの影響を軽減し、合成シーンの多様性と品質を確保するために動的な擬似データベースを維持するための硬度を意識した戦略をさらに提案します。
広く使用されている KITTI および Waymo データセットに関する広範な実験結果は、提案された HASS 手法の優位性を実証しており、3D オブジェクト検出において既存の半教師あり学習手法を上回っています。
コード: https://github.com/wzzheng/HASS。

要約(オリジナル)

3D object detection aims to recover the 3D information of concerning objects and serves as the fundamental task of autonomous driving perception. Its performance greatly depends on the scale of labeled training data, yet it is costly to obtain high-quality annotations for point cloud data. While conventional methods focus on generating pseudo-labels for unlabeled samples as supplements for training, the structural nature of 3D point cloud data facilitates the composition of objects and backgrounds to synthesize realistic scenes. Motivated by this, we propose a hardness-aware scene synthesis (HASS) method to generate adaptive synthetic scenes to improve the generalization of the detection models. We obtain pseudo-labels for unlabeled objects and generate diverse scenes with different compositions of objects and backgrounds. As the scene synthesis is sensitive to the quality of pseudo-labels, we further propose a hardness-aware strategy to reduce the effect of low-quality pseudo-labels and maintain a dynamic pseudo-database to ensure the diversity and quality of synthetic scenes. Extensive experimental results on the widely used KITTI and Waymo datasets demonstrate the superiority of the proposed HASS method, which outperforms existing semi-supervised learning methods on 3D object detection. Code: https://github.com/wzzheng/HASS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google