Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud

要約

大規模な点群セマンティック セグメンテーションの既存の方法では、高価で面倒でエラーが発生しやすい手動の点ごとの注釈が必要です。
直観的に、弱教師付きトレーニングは、ラベル付けのコストを削減するための直接的なソリューションです。
ただし、監視が不十分な大規模な点群のセマンティック セグメンテーションでは、アノテーションが少なすぎると、必然的にネットワークの非効率的な学習につながります。
上記の問題を解決するために、2つのコンポーネントを含む効果的な弱教師付き方法を提案します。
最初に、大量のラベル付けされていない点群から学習した事前知識を弱い教師付きネットワークに転送する自己教師あり学習を使用して、口実タスク \textit{i.e.} 点群の色付けを構築します。
このように、異種タスクからのガイダンスにより、弱教師ネットワークの表現能力を向上させることができます。
さらに、ラベルのないデータの疑似ラベルを生成するために、生成されたクラス プロトタイプの助けを借りて、ラベルのないポイントの分類信頼度を測定するために使用される疎ラベル伝播メカニズムが提案されます。
私たちの方法は、屋内と屋外を含むさまざまなシナリオの大規模な点群データセットで評価されます。
実験結果は、既存の弱く監視された結果と完全に監視された方法に匹敵する結果に対して大きな利益があることを示しています\footnote{mindsporeに基づくコード: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}
.

要約(オリジナル)

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, \textit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google