Divide and Conquer: 3D Point Cloud Instance Segmentation With Point-Wise Binarization

要約

点群でのインスタンスのセグメンテーションは、3Dシーンを理解するために非常に重要です。
距離クラスタリングは、最先端の方法（SOTA）で一般的に使用されます。これは通常は効果的ですが、同じセマンティックラベルを持つ隣接オブジェクトのセグメント化ではうまく機能しません（特に隣接するポイントを共有する場合）。
オフセットポイントの分布が不均一であるため、これらの既存の方法では、すべてのインスタンスポイントをクラスター化することはほとんどできません。
この目的のために、新しい分割統治戦略を設計し、各ポイントを2値化し、それらを個別にクラスター化してインスタンスをセグメント化するPBNetという名前のエンドツーエンドネットワークを提案します。
PBNetは、オフセットインスタンスポイントを高密度ポイントと低密度ポイント（HPとLP）の2つのカテゴリに分類し、それらを別々に征服します。
隣接するオブジェクトは、LPを削除することで明確に分離でき、次に、隣接する投票方法を介してLPを割り当てることで、完成および改良できます。
クラスタリングエラーをさらに減らすために、フラグメントインスタンスを集約するための平均サイズに基づく反復マージアルゴリズムを開発します。
ScanNetV2およびS3DISデータセットでの実験は、モデルの優位性を示しています。
特に、PBNetは、ScanNetV2の公式ベンチマークチャレンジ（検証セット）でこれまでで最高のAP50とAP25を達成し、高い効率を示しています。

要約(オリジナル)

Instance segmentation on point clouds is crucially important for 3D scene understanding. Distance clustering is commonly used in state-of-the-art methods (SOTAs), which is typically effective but does not perform well in segmenting adjacent objects with the same semantic label (especially when they share neighboring points). Due to the uneven distribution of offset points, these existing methods can hardly cluster all instance points. To this end, we design a novel divide and conquer strategy and propose an end-to-end network named PBNet that binarizes each point and clusters them separately to segment instances. PBNet divides offset instance points into two categories: high and low density points (HPs vs.LPs), which are then conquered separately. Adjacent objects can be clearly separated by removing LPs, and then be completed and refined by assigning LPs via a neighbor voting method. To further reduce clustering errors, we develop an iterative merging algorithm based on mean size to aggregate fragment instances. Experiments on ScanNetV2 and S3DIS datasets indicate the superiority of our model. In particular, PBNet achieves so far the best AP50 and AP25 on the ScanNetV2 official benchmark challenge (Validation Set) while demonstrating high efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google