COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation

要約

大規模な3次元データのアノテーションは、煩雑でコストがかかることで知られている。そこで、弱教師付き学習により、アノテーションの手間を数桁減らすことができる。我々は、3次元セグメンテーションのための、アーキテクチャに依存しない新しい対照学習法、COARSE3Dを提案する。対照学習では、豊富で多様な例をキーやアンカーとして用いる必要があるため、我々は、クラス毎のグローバルなデータセット情報を効率的に取り込み、キーとして働く少数のプロトタイプの記憶バンクを活用する。そして、エントロピー駆動型のサンプリング技術により、予測値の中から良い画素をアンカーとして選択することができる。3つの投影ベースのバックボーンを用いた実験では、0.001%という低いアノテーションで動作する3つの実世界の屋外データセットにおいて、ベースラインよりも優れた性能を示すことが示された。

要約(オリジナル)

Annotation of large-scale 3D data is notoriously cumbersome and costly. As an alternative, weakly-supervised learning alleviates such a need by reducing the annotation by several order of magnitudes. We propose COARSE3D, a novel architecture-agnostic contrastive learning strategy for 3D segmentation. Since contrastive learning requires rich and diverse examples as keys and anchors, we leverage a prototype memory bank capturing class-wise global dataset information efficiently into a small number of prototypes acting as keys. An entropy-driven sampling technique then allows us to select good pixels from predictions as anchors. Experiments on three projection-based backbones show we outperform baselines on three challenging real-world outdoor datasets, working with as low as 0.001% annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL