Teachers in concordance for pseudo-labeling of 3D sequential data

要約

自動擬似ラベル付けは、ラベルのない大量の連続データを利用するための強力なツールです。
これは、パフォーマンス要件が厳しく、データセットが大規模で、手動によるラベル付けが非常に困難である自動運転の安全性が重要なアプリケーションで特に魅力的です。
私たちは、点群のシーケンスを活用して、それぞれが異なる時間情報にアクセスできる複数の教師をトレーニングすることにより、教師と生徒の設定における擬似ラベリング手法を強化することを提案します。
Concordance と呼ばれるこの教師セットは、生徒のトレーニングに標準的な方法よりも高品質の疑似ラベルを提供します。
複数の教師の出力は、新しい擬似ラベルの信頼度に基づく基準を介して結合されます。
私たちの実験評価は、3D 点群ドメインと都市部の運転シナリオに焦点を当てています。
3 つのベンチマーク データセットで 3D セマンティック セグメンテーションと 3D オブジェクト検出に適用されたメソッドのパフォーマンスを示します。
手動ラベルを 20% のみ使用する私たちのアプローチは、完全に監視されたいくつかの方法よりも優れています。
トレーニング データにほとんど出現しないクラスのパフォーマンスが大幅に向上しました。

要約(オリジナル)

Automatic pseudo-labeling is a powerful tool to tap into large amounts of sequential unlabeled data. It is specially appealing in safety-critical applications of autonomous driving, where performance requirements are extreme, datasets are large, and manual labeling is very challenging. We propose to leverage sequences of point clouds to boost the pseudolabeling technique in a teacher-student setup via training multiple teachers, each with access to different temporal information. This set of teachers, dubbed Concordance, provides higher quality pseudo-labels for student training than standard methods. The output of multiple teachers is combined via a novel pseudo label confidence-guided criterion. Our experimental evaluation focuses on the 3D point cloud domain and urban driving scenarios. We show the performance of our method applied to 3D semantic segmentation and 3D object detection on three benchmark datasets. Our approach, which uses only 20% manual labels, outperforms some fully supervised methods. A notable performance boost is achieved for classes rarely appearing in training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google