Semantic Segmentation-Assisted Instance Feature Fusion for Multi-Level 3D Part Instance Segmentation

要約

3次元点群から3次元部品インスタンスを認識することは、3次元構造とシーン理解のために極めて重要である。いくつかの学習ベースのアプローチは、セマンティックセグメンテーションとインスタンス中心予測を学習タスクとして用いており、形状セマンティクスと部品インスタンスの間の固有の関係をさらに利用することができない。本論文では、3次元部品インスタンスのセグメンテーションのための新しい手法を提案する。本手法は、セマンティックセグメンテーションを利用して、中心予測などの非局所的なインスタンス特徴を融合し、さらに、マルチレベルおよびクロスレベルの方法で融合スキームを強化するものである。また、セマンティック領域中心予測タスクを提案し、インスタンス点のクラスタリングを改善するために、予測結果を学習し活用する。本手法はPartNetベンチマークにおいて、大きなマージンの改善により、既存の手法を上回る性能を発揮する。また、我々の特徴量融合スキームを他の既存手法に適用することで、室内シーンのインスタンス分割タスクにおける性能を向上させることができることを実証する。

要約(オリジナル)

Recognizing 3D part instances from a 3D point cloud is crucial for 3D structure and scene understanding. Several learning-based approaches use semantic segmentation and instance center prediction as training tasks and fail to further exploit the inherent relationship between shape semantics and part instances. In this paper, we present a new method for 3D part instance segmentation. Our method exploits semantic segmentation to fuse nonlocal instance features, such as center prediction, and further enhances the fusion scheme in a multi- and cross-level way. We also propose a semantic region center prediction task to train and leverage the prediction results to improve the clustering of instance points. Our method outperforms existing methods with a large-margin improvement in the PartNet benchmark. We also demonstrate that our feature fusion scheme can be applied to other existing methods to improve their performance in indoor scene instance segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL