U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation

要約

現在の点群セグメンテーションのアプローチは、豊富に注釈が付けられた 3D トレーニング データに大きく依存しています。
ただし、このような 3D シーン データに対して一貫して正確なアノテーションを取得するのは時間がかかり、困難です。
さらに、点群、特に全体的な 3D シーンの完全に教師なしのシーン セグメンテーションに関する研究がまだ不足しています。
このペーパーでは、全体的な 3D シーンに対する完全に教師なしの点群セグメンテーションへのステップとして、U3DS$^3$ を紹介します。
これを達成するために、U3DS$^3$ は、モデルの事前トレーニングを必要とせず、点群の固有情報のみを利用して、屋内と屋外の両方の静的 3D 点群にわたるオブジェクトと背景の両方に対して一般化された教師なしセグメンテーション手法を活用します。
完全な 3D シーンのセグメンテーション。
私たちが提案するアプローチの最初のステップには、各シーンの幾何学的特徴に基づいてスーパーポイントを生成することが含まれます。
その後、空間クラスタリングベースの方法論による学習プロセスを経て、クラスター重心に従って生成された擬似ラベルを使用した反復トレーニングが行われます。
さらに、体積表現の不変性と等変性を利用して、ボクセル化された特徴に幾何学的変換を適用して、堅牢な表現学習のための 2 セットの記述子を提供します。
最後に、私たちの評価では、ScanNet および SemanticKITTI での最先端の結果と、ベンチマーク データセットである S3DIS での競合結果が提供されます。

要約(オリジナル)

Contemporary point cloud segmentation approaches largely rely on richly annotated 3D training data. However, it is both time-consuming and challenging to obtain consistently accurate annotations for such 3D scene data. Moreover, there is still a lack of investigation into fully unsupervised scene segmentation for point clouds, especially for holistic 3D scenes. This paper presents U3DS$^3$, as a step towards completely unsupervised point cloud segmentation for any holistic 3D scenes. To achieve this, U3DS$^3$ leverages a generalized unsupervised segmentation method for both object and background across both indoor and outdoor static 3D point clouds with no requirement for model pre-training, by leveraging only the inherent information of the point cloud to achieve full 3D scene segmentation. The initial step of our proposed approach involves generating superpoints based on the geometric characteristics of each scene. Subsequently, it undergoes a learning process through a spatial clustering-based methodology, followed by iterative training using pseudo-labels generated in accordance with the cluster centroids. Moreover, by leveraging the invariance and equivariance of the volumetric representations, we apply the geometric transformation on voxelized features to provide two sets of descriptors for robust representation learning. Finally, our evaluation provides state-of-the-art results on the ScanNet and SemanticKITTI, and competitive results on the S3DIS, benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google