Box2Mask: Weakly Supervised 3D Semantic Instance Segmentation Using Bounding Boxes

要約

現在の 3D セグメンテーション手法は大規模な点群データセットに大きく依存しており、アノテーションを付けるのが大変なことで知られています。
ポイントごとの高密度の注釈の必要性を回避する試みはほとんど行われていません。
この研究では、弱く監視された 3D セマンティック インスタンス セグメンテーションを検討します。
重要なアイデアは、注釈をより簡単かつ迅速に付けることができる 3D 境界ボックス ラベルを活用することです。
実際、境界ボックス ラベルのみを使用して高密度セグメンテーション モデルをトレーニングできることを示します。
私たちのメソッド \name{} の中核には、境界ボックスのパラメーターに直接投票する古典的なハフ投票に触発されたディープ モデルと、境界ボックスの投票に特化したクラスタリング手法があります。
これは、一般的に使用される中央投票を超えており、境界ボックスの注釈を完全には活用できません。
ScanNet テストでは、当社の弱監視モデルは、他の弱監視アプローチの中でも最高のパフォーマンスを達成しました (+18 mAP@50)。
注目すべきことに、現在の完全監視モデルの mAP@50 スコアの 97% も達成しています。
私たちの研究の実用性をさらに説明するために、3D 境界ボックスのみで注釈が付けられた最近リリースされた ARKitScenes データセットで Box2Mask をトレーニングし、説得力のある 3D インスタンス セグメンテーション マスクを初めて示します。

要約(オリジナル)

Current 3D segmentation methods heavily rely on large-scale point-cloud datasets, which are notoriously laborious to annotate. Few attempts have been made to circumvent the need for dense per-point annotations. In this work, we look at weakly-supervised 3D semantic instance segmentation. The key idea is to leverage 3D bounding box labels which are easier and faster to annotate. Indeed, we show that it is possible to train dense segmentation models using only bounding box labels. At the core of our method, \name{}, lies a deep model, inspired by classical Hough voting, that directly votes for bounding box parameters, and a clustering method specifically tailored to bounding box votes. This goes beyond commonly used center votes, which would not fully exploit the bounding box annotations. On ScanNet test, our weakly supervised model attains leading performance among other weakly supervised approaches (+18 mAP@50). Remarkably, it also achieves 97% of the mAP@50 score of current fully supervised models. To further illustrate the practicality of our work, we train Box2Mask on the recently released ARKitScenes dataset which is annotated with 3D bounding boxes only, and show, for the first time, compelling 3D instance segmentation masks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google