CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP

要約

タイトル：CLIP2Scene：CLIPによるラベル効率的な3Dシーン理解へのアプローチ

要約：
– CLIPは、2Dの0ショットおよびフューショット学習において、有望な結果を示している。
– 2Dにおける印象的な性能にもかかわらず、CLIPを3Dシーン理解の学習にどのように利用できるかは未だに探究されていない。
– 本論文では、初めてCLIPの知識が3Dシーン理解にどのように役立つかについて調査を行った。我々は、CLIP2Sceneというシンプルで効果的なフレームワークを提案し、2D画像-テキストプレトレインモデルからCLIPの知識を3Dポイントクラウドネットワークに転移させることができることを示した。
– 具体的には、CLIPに基づいて、Semantic-driven Cross-modal Contrastive Learningフレームワークを設計し、意味的および空間的・時間的一貫性の規則化を介して3Dネットワークをプレトレインする。前者に関しては、CLIPのテキストの意味を利用してポジティブおよびネガティブなポイントサンプルを選択し、対比的損失を使用して3Dネットワークをトレーニングする。後者に関しては、時間的に一貫したポイントクラウド特徴とそれに対応する画像特徴の一貫性を強制する。
– SemanticKITTI、nuScenes、ScanNetで実験を行い、我々のプレトレインされたネットワークが、nuScenesとScanNetでそれぞれ20.8%および25.08%のmIoUで3Dセマンティックセグメンテーションをアノテーションフリーで実現できることを示した。また、1％または100％のラベル付きデータでファインチューニングされた場合、我々の手法は他の自己監督手法よりも大幅に優れた性能を発揮し、それぞれ8％と1％のmIoUの改善が見られた。さらに、交差領域データセットの取り扱いの汎用性についても示した。コードは公開されている（https://github.com/runnanchen/CLIP2Scene）。

要約(オリジナル)

Contrastive Language-Image Pre-training (CLIP) achieves promising results in 2D zero-shot and few-shot learning. Despite the impressive performance in 2D, applying CLIP to help the learning in 3D scene understanding has yet to be explored. In this paper, we make the first attempt to investigate how CLIP knowledge benefits 3D scene understanding. We propose CLIP2Scene, a simple yet effective framework that transfers CLIP knowledge from 2D image-text pre-trained models to a 3D point cloud network. We show that the pre-trained 3D network yields impressive performance on various downstream tasks, i.e., annotation-free and fine-tuning with labelled data for semantic segmentation. Specifically, built upon CLIP, we design a Semantic-driven Cross-modal Contrastive Learning framework that pre-trains a 3D network via semantic and spatial-temporal consistency regularization. For the former, we first leverage CLIP’s text semantics to select the positive and negative point samples and then employ the contrastive loss to train the 3D network. In terms of the latter, we force the consistency between the temporally coherent point cloud features and their corresponding image features. We conduct experiments on SemanticKITTI, nuScenes, and ScanNet. For the first time, our pre-trained network achieves annotation-free 3D semantic segmentation with 20.8% and 25.08% mIoU on nuScenes and ScanNet, respectively. When fine-tuned with 1% or 100% labelled data, our method significantly outperforms other self-supervised methods, with improvements of 8% and 1% mIoU, respectively. Furthermore, we demonstrate the generalizability for handling cross-domain datasets. Code is publicly available https://github.com/runnanchen/CLIP2Scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI