Instance Consistency Regularization for Semi-Supervised 3D Instance Segmentation

要約

ポイント単位のセマンティックラベルとインスタンスラベルを備えた大規模なデータセットは、3D インスタンスのセグメンテーションに不可欠ですが、高価でもあります。
ラベルのないデータを活用するために、これまでの半教師あり 3D インスタンス セグメンテーションのアプローチでは、一貫性の正則化のために高品質の疑似ラベルに依存する自己トレーニング フレームワークが検討されてきました。
彼らは、共同学習方式でインスタンスとセマンティック擬似ラベルの両方を直感的に利用します。
ただし、セマンティック擬似ラベルには、不均衡なカテゴリ分布と、似ているが異なるカテゴリの自然な混乱に由来する多数のノイズが含まれており、自己学習の深刻な崩壊につながります。
3D インスタンスは重なり合わず、空間的に分離可能であるという観察を動機として、改善された半教師ありセグメンテーションのためにインスタンスの一貫性正則化のみに依存できるかどうかを尋ねます。
この目的を達成するために、ラベルのないデータから純粋なインスタンスの知識を探索および活用するための新しい自己トレーニング ネットワーク InsTeacher3D を提案します。
まず、並列ベース 3D インスタンス セグメンテーション モデル DKNet を構築します。これは、セマンティック セグメンテーションに依存せずに、識別インスタンス カーネルによって各インスタンスを他のインスタンスから区別します。
DKNet に基づいて、高品質のインスタンス擬似ラベルを生成して活用するための新しいインスタンス整合性正則化フレームワークをさらに設計します。
複数の大規模データセットに関する実験結果では、InsTeacher3D が従来の最先端の半教師ありアプローチよりも大幅に優れていることが示されています。
コードはhttps://github.com/W1zheng/InsTeacher3Dから入手できます。

要約(オリジナル)

Large-scale datasets with point-wise semantic and instance labels are crucial to 3D instance segmentation but also expensive. To leverage unlabeled data, previous semi-supervised 3D instance segmentation approaches have explored self-training frameworks, which rely on high-quality pseudo labels for consistency regularization. They intuitively utilize both instance and semantic pseudo labels in a joint learning manner. However, semantic pseudo labels contain numerous noise derived from the imbalanced category distribution and natural confusion of similar but distinct categories, which leads to severe collapses in self-training. Motivated by the observation that 3D instances are non-overlapping and spatially separable, we ask whether we can solely rely on instance consistency regularization for improved semi-supervised segmentation. To this end, we propose a novel self-training network InsTeacher3D to explore and exploit pure instance knowledge from unlabeled data. We first build a parallel base 3D instance segmentation model DKNet, which distinguishes each instance from the others via discriminative instance kernels without reliance on semantic segmentation. Based on DKNet, we further design a novel instance consistency regularization framework to generate and leverage high-quality instance pseudo labels. Experimental results on multiple large-scale datasets show that the InsTeacher3D significantly outperforms prior state-of-the-art semi-supervised approaches. Code is available: https://github.com/W1zheng/InsTeacher3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google