Weakly Supervised 3D Instance Segmentation without Instance-level Annotations

要約

3D意味シーン理解タスクは、ディープラーニングの出現により大きな成功を収めているが、多くの場合、手作業でアノテーションされた膨大な学習データを必要とする。注釈コストを軽減するために、我々は、カテゴリ的な意味ラベルのみを監督として必要とし、インスタンスレベルのラベルを必要としない、初の弱教師付き3Dインスタンス分割法を提案する。必要な意味的アノテーションは、密でも極端に疎でも良い（例えば、全ポイントの0.02%）。インスタンスに関連した真実がなくても、我々は点群を生の断片に分割し、インスタンスのセントロイドを学習するための最も信頼できるサンプルを見つけるアプローチを設計する。さらに、擬似インスタンスを用いて再構成されたデータセットを構築し、このデータセットを用いて、定義されたマルチレベル形状認識オブジェクトネス信号を学習する。非対称オブジェクト推論アルゴリズムに従って、異なる戦略でコア点と境界点を処理し、反復学習を導くための高品質な擬似インスタンスラベルを生成する。実験により、本手法が最近の完全教師あり手法に匹敵する結果を達成できることが実証された。カテゴリカルな意味ラベルから擬似インスタンスラベルを生成することで、我々の設計したアプローチは、アノテーションコストを削減しながら3Dインスタンス分割を学習する既存の手法を支援することもできる。

要約(オリジナル)

3D semantic scene understanding tasks have achieved great success with the emergence of deep learning, but often require a huge amount of manually annotated training data. To alleviate the annotation cost, we propose the first weakly-supervised 3D instance segmentation method that only requires categorical semantic labels as supervision, and we do not need instance-level labels. The required semantic annotations can be either dense or extreme sparse (e.g. 0.02% of total points). Even without having any instance-related ground-truth, we design an approach to break point clouds into raw fragments and find the most confident samples for learning instance centroids. Furthermore, we construct a recomposed dataset using pseudo instances, which is used to learn our defined multilevel shape-aware objectness signal. An asymmetrical object inference algorithm is followed to process core points and boundary points with different strategies, and generate high-quality pseudo instance labels to guide iterative training. Experiments demonstrate that our method can achieve comparable results with recent fully supervised methods. By generating pseudo instance labels from categorical semantic labels, our designed approach can also assist existing methods for learning 3D instance segmentation at reduced annotation cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL