Semantic Instance Segmentation of 3D Scenes Through Weak Bounding Box Supervision

要約

現在の3Dセグメンテーション手法は、注釈を付けるのが面倒なことで有名な大規模な点群データセットに大きく依存しています。
密なポイントごとの注釈の必要性を回避するための試みはほとんど行われていません。
この作業では、弱教師あり3Dインスタンスのセマンティックセグメンテーションについて説明します。
重要なアイデアは、注釈を付けるのがより簡単で高速な3Dバウンディングボックスラベルを活用することです。
実際、弱いバウンディングボックスラベルのみを使用して高密度セグメンテーションモデルをトレーニングできることを示しています。
私たちの方法の中核であるBox2Maskは、バウンディングボックスのパラメーターに直接投票する、古典的なハフ投票に触発された深いモデルと、バウンディングボックスの投票に合わせて特別に調整されたクラスタリング方法です。
これは、バウンディングボックスの注釈を十分に活用しない一般的に使用される中央投票を超えています。
ScanNetテストでは、弱教師ありモデルは、他の弱教師ありアプローチ（+18 mAP50）の中でも優れたパフォーマンスを達成します。
驚くべきことに、完全に監視されたモデルのパフォーマンスの97％も達成します。
私たちのアプローチの実用性を証明するために、3Dバウンディングボックスのみで注釈が付けられた最近リリースされたARKitScenesデータセットのセグメンテーション結果を示し、初めて、説得力のある3Dインスタンスセグメンテーション結果を取得します。

要約(オリジナル)

Current 3D segmentation methods heavily rely on large-scale point-cloud datasets, which are notoriously laborious to annotate. Few attempts have been made to circumvent the need for dense per-point annotations. In this work, we look at weakly-supervised 3D instance semantic segmentation. The key idea is to leverage 3D bounding box labels which are easier and faster to annotate. Indeed, we show that it is possible to train dense segmentation models using only weak bounding box labels. At the core of our method, Box2Mask, lies a deep model, inspired by classical Hough voting, that directly votes for bounding box parameters, and a clustering method specifically tailored to bounding box votes. This goes beyond commonly used center votes, which would not fully exploit the bounding box annotations. On ScanNet test, our weakly supervised model attains leading performance among other weakly supervised approaches (+18 mAP50). Remarkably, it also achieves 97% of the performance of fully supervised models. To prove the practicality of our approach, we show segmentation results on the recently released ARKitScenes dataset which is annotated with 3D bounding boxes only, and obtain, for the first time, compelling 3D instance segmentation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google