GrowSP: Unsupervised Semantic Segmentation of 3D Point Clouds

要約

私たちは、生の点群からの 3D セマンティック セグメンテーションの問題を研究します。
ニューラル ネットワークをトレーニングするために主に大量の人による注釈に依存する既存の方法とは異なり、人間によるラベルやラベルを一切必要とせずに、3D シーンのすべてのポイントの複雑な意味クラスを首尾よく識別する、GrowSP と呼ばれる最初の純粋に教師なしの方法を提案します。
事前トレーニングされたモデル。
私たちのアプローチの鍵は、スーパーポイントの漸進的な成長を通じて 3D セマンティック要素を発見することです。
私たちの方法は 3 つの主要コンポーネントで構成されます。1) 入力点群から点ごとの特徴を学習する特徴抽出器、2) スーパーポイントのサイズを段階的に拡大するスーパーポイント コンストラクター、3) スーパーポイントをセマンティックにグループ化するセマンティック プリミティブ クラスタリング モジュールです。
最終的なセマンティック セグメンテーションの要素。
私たちは複数のデータセットでメソッドを広範囲に評価し、すべての教師なしベースラインに対して優れたパフォーマンスを実証し、従来の完全教師あり PointNet に近づいています。
私たちの研究が、教師なし 3D セマンティック学習のためのより高度な方法を刺激することができれば幸いです。

要約(オリジナル)

We study the problem of 3D semantic segmentation from raw point clouds. Unlike existing methods which primarily rely on a large amount of human annotations for training neural networks, we propose the first purely unsupervised method, called GrowSP, to successfully identify complex semantic classes for every point in 3D scenes, without needing any type of human labels or pretrained models. The key to our approach is to discover 3D semantic elements via progressive growing of superpoints. Our method consists of three major components, 1) the feature extractor to learn per-point features from input point clouds, 2) the superpoint constructor to progressively grow the sizes of superpoints, and 3) the semantic primitive clustering module to group superpoints into semantic elements for the final semantic segmentation. We extensively evaluate our method on multiple datasets, demonstrating superior performance over all unsupervised baselines and approaching the classic fully-supervised PointNet. We hope our work could inspire more advanced methods for unsupervised 3D semantic learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google