RWSeg: Cross-graph Competing Random Walks for Weakly Supervised 3D Instance Segmentation

要約

3次元点群に対するインスタンスセグメンテーションは、特にシーン理解の分野で幅広く応用されているため、注目が高まっている。しかし、既存の手法の多くは、学習データに十分なアノテーションを付与する必要がある。しかし、既存の手法の多くは、学習データに対して十分なアノテーションを施す必要がある。この問題を解決するために、我々は、1つの物体に対して1点のラベルを付けるだけで済む、新しい弱教師付き手法RWSegを提案する。この疎な弱いラベルを用いて、自己注意とランダムウォークを用いて、意味情報とインスタンス情報をそれぞれ未知領域へ伝播する2つのブランチを持つ統一的なフレームワークを導入する。さらに、異なるインスタンスグラフ間の競争を促し、密接に配置されたオブジェクトの曖昧性を解消し、インスタンス割り当てに関する性能を向上させるCross-graph Competing Random Walks (CGCRW) アルゴリズムを提案する。RWSegは定性的なインスタンスレベルの擬似ラベルを生成することができる。ScanNet-v2およびS3DISデータセットに対する実験結果から、我々のアプローチは完全教師あり手法と同等の性能を達成し、従来の弱い教師あり手法よりも大きなマージンをもって優れていることが示された。これは、この分野における弱監視と完全監視の間のギャップを埋める最初の研究である。

要約(オリジナル)

Instance segmentation on 3D point clouds has been attracting increasing attention due to its wide applications, especially in scene understanding areas. However, most existing methods require training data to be fully annotated. Manually preparing ground-truth labels at point-level is very cumbersome and labor-intensive. To address this issue, we propose a novel weakly supervised method RWSeg that only requires labeling one object with one point. With these sparse weak labels, we introduce a unified framework with two branches to propagate semantic and instance information respectively to unknown regions, using self-attention and random walk. Furthermore, we propose a Cross-graph Competing Random Walks (CGCRW) algorithm which encourages competition among different instance graphs to resolve ambiguities in closely placed objects and improve the performance on instance assignment. RWSeg can generate qualitative instance-level pseudo labels. Experimental results on ScanNet-v2 and S3DIS datasets show that our approach achieves comparable performance with fully-supervised methods and outperforms previous weakly-supervised methods by large margins. This is the first work that bridges the gap between weak and full supervision in the area.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL