Learning Inter-Superpoint Affinity for Weakly Supervised 3D Instance Segmentation

要約

3D 点群の注釈付きラベルが少ないため、点群の識別機能を学習してオブジェクト インスタンスをセグメント化する方法は困難な問題です。
このホワイト ペーパーでは、インスタンスごとに 1 つの点のみに注釈を付けることで優れたパフォーマンスを実現できる、シンプルかつ効果的な 3D インスタンス セグメンテーション フレームワークを提案します。
具体的には、インスタンス セグメンテーションの非常に少数のラベルに取り組むために、最初に教師なしで点群をスーパーポイントにオーバーセグメント化し、ポイント レベルの注釈をスーパーポイント レベルに拡張します。
次に、スーパーポイントグラフに基づいて、セマンティックおよび空間関係を考慮してスーパーポイント間アフィニティを適応的に学習し、セマンティックアウェアランダムウォークを介して高品質の擬似ラベルを生成するスーパーポイント間アフィニティマイニングモジュールを提案します。
最後に、スーパーポイント グラフのクラスタリングでオブジェクトのボリューム制約を適用することにより、高品質のインスタンスをセグメント化するためのボリューム対応インスタンス リファインメント モジュールを提案します。
ScanNet-v2 および S3DIS データセットでの広範な実験は、私たちの方法が弱い教師あり点群インスタンス セグメンテーション タスクで最先端のパフォーマンスを達成し、一部の完全教師あり方法よりも優れていることを示しています。

要約(オリジナル)

Due to the few annotated labels of 3D point clouds, how to learn discriminative features of point clouds to segment object instances is a challenging problem. In this paper, we propose a simple yet effective 3D instance segmentation framework that can achieve good performance by annotating only one point for each instance. Specifically, to tackle extremely few labels for instance segmentation, we first oversegment the point cloud into superpoints in an unsupervised manner and extend the point-level annotations to the superpoint level. Then, based on the superpoint graph, we propose an inter-superpoint affinity mining module that considers the semantic and spatial relations to adaptively learn inter-superpoint affinity to generate high-quality pseudo labels via semantic-aware random walk. Finally, we propose a volume-aware instance refinement module to segment high-quality instances by applying volume constraints of objects in clustering on the superpoint graph. Extensive experiments on the ScanNet-v2 and S3DIS datasets demonstrate that our method achieves state-of-the-art performance in the weakly supervised point cloud instance segmentation task, and even outperforms some fully supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google