SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation

要約

ほとんどの既存のポイントクラウドインスタンスとセマンティックセグメンテーション方法は、シーン内のすべてのポイントにポイントレベルのラベルを必要とする強力な監視信号に大きく依存しています。
ただし、このような強力な監視には大きな注釈コストがかかるため、効率的な注釈を検討する必要があります。
この論文では、インスタンスの位置がインスタンスとセマンティック3Dシーンのセグメンテーションの両方にとって重要であることを発見しました。
場所を十分に活用することで、注釈の場所を示すためにインスタンスごとに1つのポイントをクリックするだけで済む、監視の弱いポイントクラウドセグメンテーションアルゴリズムを設計します。
前処理のためのオーバーセグメンテーションを使用して、これらの位置アノテーションをセグメントレベルのラベルとしてセグメントに拡張します。
さらに、セグメントグループ化ネットワーク（SegGroup）を設計して、ラベルのないセグメントを関連する近くのラベルの付いたセグメントに階層的にグループ化することにより、セグメントレベルのラベルの下にポイントレベルの疑似ラベルを生成します。これにより、既存のポイントレベルの監視対象セグメンテーションモデルがこれらの疑似ラベルを直接使用できるようになります。
トレーニング用。
実験結果は、セグメントレベルの教師ありメソッド（SegGroup）が、完全に注釈が付けられたポイントレベルの教師ありメソッドと同等の結果を達成することを示しています。
さらに、固定の注釈予算が与えられた場合、最近の弱く監視された方法よりも優れています。

要約(オリジナル)

Most existing point cloud instance and semantic segmentation methods rely heavily on strong supervision signals, which require point-level labels for every point in the scene. However, such strong supervision suffers from large annotation costs, arousing the need to study efficient annotating. In this paper, we discover that the locations of instances matter for both instance and semantic 3D scene segmentation. By fully taking advantage of locations, we design a weakly supervised point cloud segmentation algorithm that only requires clicking on one point per instance to indicate its location for annotation. With over-segmentation for pre-processing, we extend these location annotations into segments as seg-level labels. We further design a segment grouping network (SegGroup) to generate point-level pseudo labels under seg-level labels by hierarchically grouping the unlabeled segments into the relevant nearby labeled segments, so that existing point-level supervised segmentation models can directly consume these pseudo labels for training. Experimental results show that our seg-level supervised method (SegGroup) achieves comparable results with the fully annotated point-level supervised methods. Moreover, it outperforms the recent weakly supervised methods given a fixed annotation budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google