Generative Zero-Shot Learning for Semantic Segmentation of 3D Point Clouds

要約

2D 画像の Zero-Shot Learning (ZSL) に関する多くの研究が行われていますが、3D データへの適用はまだ最近のものであり、分類に限定されたいくつかの方法しかありません。
分類と、初めてセマンティック セグメンテーションの両方を処理できる、3D データに対する ZSL と一般化 ZSL (GZSL) の両方に対する最初の生成的アプローチを提示します。
誘導性 ZSL と誘導性 GZSL の両方について、ModelNet40 分類の最先端に到達するか、それを上回ることを示します。
セマンティック セグメンテーションについては、S3DIS、ScanNet、および SemanticKITTI を使用して、この新しい ZSL タスクを評価するための 3 つのベンチマークを作成しました。
私たちの実験は、私たちの方法が強力なベースラインよりも優れていることを示しています。これは、このタスクに対してさらに提案します。

要約(オリジナル)

While there has been a number of studies on Zero-Shot Learning (ZSL) for 2D images, its application to 3D data is still recent and scarce, with just a few methods limited to classification. We present the first generative approach for both ZSL and Generalized ZSL (GZSL) on 3D data, that can handle both classification and, for the first time, semantic segmentation. We show that it reaches or outperforms the state of the art on ModelNet40 classification for both inductive ZSL and inductive GZSL. For semantic segmentation, we created three benchmarks for evaluating this new ZSL task, using S3DIS, ScanNet and SemanticKITTI. Our experiments show that our method outperforms strong baselines, which we additionally propose for this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google