Generalized Few-Shot Point Cloud Segmentation Via Geometric Words

要約

既存の完全監視型点群セグメンテーション手法は、新しいクラスの出現による動的テスト環境では問題が発生します。
少数ショット点群セグメンテーション アルゴリズムは、基本クラスのセグメンテーション精度を犠牲にして新しいクラスに適応することを学習することでこの問題に対処しますが、これにより実用性が大きく損なわれます。
これは主に、一般化された少数ショット点群セグメンテーションのより実用的なパラダイムの最初の試みを提示する動機となっています。これには、モデルを少数のサポート点群のみで新しいカテゴリに一般化し、同時に基本クラスをセグメント化する機能を保持する必要があります。
私たちは、基本クラスと新規クラス間で共有される幾何学的コンポーネントを表す幾何学的単語を提案し、それらを新しい幾何学を意識した意味論的表現に組み込んで、古いクラスを忘れることなく新しいクラスへのより良い一般化を促進します。
さらに、幾何学的プロトタイプを導入して、幾何学的事前知識を使用してセグメンテーションをガイドします。
S3DIS と ScanNet に関する広範な実験により、ベースライン手法よりも当社の手法の優れたパフォーマンスが一貫して示されています。
コードは https://github.com/Pixie8888/GFS-3DSeg_GWs で入手できます。

要約(オリジナル)

Existing fully-supervised point cloud segmentation methods suffer in the dynamic testing environment with emerging new classes. Few-shot point cloud segmentation algorithms address this problem by learning to adapt to new classes at the sacrifice of segmentation accuracy for the base classes, which severely impedes its practicality. This largely motivates us to present the first attempt at a more practical paradigm of generalized few-shot point cloud segmentation, which requires the model to generalize to new categories with only a few support point clouds and simultaneously retain the capability to segment base classes. We propose the geometric words to represent geometric components shared between the base and novel classes, and incorporate them into a novel geometric-aware semantic representation to facilitate better generalization to the new classes without forgetting the old ones. Moreover, we introduce geometric prototypes to guide the segmentation with geometric prior knowledge. Extensive experiments on S3DIS and ScanNet consistently illustrate the superior performance of our method over baseline methods. Our code is available at: https://github.com/Pixie8888/GFS-3DSeg_GWs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google