FreePoint: Unsupervised Point Cloud Instance Segmentation

要約

タイトル：FreePoint：非監視点群インスタンスセグメンテーション

要約：

– 点群のインスタンスセグメンテーションは、シーン内のオブジェクトの位置を特定し、区別するために必要な、3D分野で重要なタスクであり、多数のアプリケーションに利用される。
– しかし、満足のいく結果を得るには、多数の手動注釈が必要となり、時間と費用がかかる。
– 注釈に依存しない手法であるFreePointを提案する。
– 点の特徴を座標、色、法線、自己教師ありディープフィーチャーの組み合わせで表現し、マルチカットアルゴリズムを実行して点群を粗いインスタンスマスクにセグメンテーションする。
– 粗いマスクを使用して点群インスタンスセグメンテーションモデルを訓練する。
– 粗いマスクの不正確さを軽減するために、弱く監視されたトレーニング戦略と対応する損失を提案する。
– この手法は、限られた注釈での教師あり意味的インスタンスセグメンテーションの前提課題の非監視事前トレーニング課題としても機能する。
– FreePointは、その完全に監視された対応物Mask3Dに基づくクラスアゴスティックな点群インスタンスセグメンテーションのためのギャップを埋める。
– S3DISでの前提タスクとファインチューニング時、10％のマスク注釈のみで、0.58％のAPを向上させる。

要約(オリジナル)

Instance segmentation of point clouds is a crucial task in 3D field with numerous applications that involve localizing and segmenting objects in a scene. However, achieving satisfactory results requires a large number of manual annotations, which is a time-consuming and expensive process. To alleviate dependency on annotations, we propose a method, called FreePoint, for underexplored unsupervised class-agnostic instance segmentation on point clouds. In detail, we represent the point features by combining coordinates, colors, normals, and self-supervised deep features. Based on the point features, we perform a multicut algorithm to segment point clouds into coarse instance masks as pseudo labels, which are used to train a point cloud instance segmentation model. To alleviate the inaccuracy of coarse masks during training, we propose a weakly-supervised training strategy and corresponding loss. Our work can also serve as an unsupervised pre-training pretext for supervised semantic instance segmentation with limited annotations. For class-agnostic instance segmentation on point clouds, FreePoint largely fills the gap with its fully-supervised counterpart based on the state-of-the-art instance segmentation model Mask3D and even surpasses some previous fully-supervised methods. When serving as a pretext task and fine-tuning on S3DIS, FreePoint outperforms training from scratch by 5.8% AP with only 10% mask annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI