PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models

要約

一般化可能な 3D パーツのセグメンテーションは重要ですが、ビジョンとロボット工学では困難です。
従来の教師あり手法を使用してディープ モデルをトレーニングするには、きめの細かいパーツ アノテーションを備えた大規模な 3D データセットが必要であり、収集にコストがかかります。
この論文では、オープン語彙の 2D 検出で優れたパフォーマンスを達成する、事前トレーニング済み画像言語モデル GLIP を利用して、3D 点群のローショット パーツ セグメンテーションの代替方法を検討します。
私たちは、点群レンダリングにおける GLIP ベースの部品検出と、新しい 2D から 3D へのラベルリフティング アルゴリズムを通じて、豊富な知識を 2D から 3D に転送します。
また、マルチビュー 3D プリアと少数ショットのプロンプト チューニングを利用して、パフォーマンスを大幅に向上させます。
PartNet および PartNet-Mobility データセットの広範な評価により、私たちの方法が優れたゼロショット 3D パーツ セグメンテーションを可能にすることが示されました。
当社の数ショット バージョンは、既存の数ショット アプローチよりも大幅に優れているだけでなく、完全に監視されたバージョンと比較して非常に競争力のある結果を達成します。
さらに、私たちの方法が、大きな領域ギャップなしに iPhone でスキャンされた点群に直接適用できることを示します。

要約(オリジナル)

Generalizable 3D part segmentation is important but challenging in vision and robotics. Training deep models via conventional supervised methods requires large-scale 3D datasets with fine-grained part annotations, which are costly to collect. This paper explores an alternative way for low-shot part segmentation of 3D point clouds by leveraging a pretrained image-language model, GLIP, which achieves superior performance on open-vocabulary 2D detection. We transfer the rich knowledge from 2D to 3D through GLIP-based part detection on point cloud rendering and a novel 2D-to-3D label lifting algorithm. We also utilize multi-view 3D priors and few-shot prompt tuning to boost performance significantly. Extensive evaluation on PartNet and PartNet-Mobility datasets shows that our method enables excellent zero-shot 3D part segmentation. Our few-shot version not only outperforms existing few-shot approaches by a large margin but also achieves highly competitive results compared to the fully supervised counterpart. Furthermore, we demonstrate that our method can be directly applied to iPhone-scanned point clouds without significant domain gaps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google