CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP

要約

Contrastive language-image pre-training (CLIP) は、2D ゼロショットおよび少数ショット学習で有望な結果を達成します。
2D タスクでの印象的なパフォーマンスにもかかわらず、CLIP を適用して 3D シーンの理解の学習を支援する方法はまだ検討されていません。
この論文では、CLIP の知識が 3D シーンの理解にどのように役立つかを調査する最初の試みを行います。
この目的のために、CLIP2Scene を提案します。これは、CLIP の知識を 2D 画像テキストの事前トレーニング済みモデルから 3D ポイント クラウド ネットワークに転送するシンプルでありながら効果的なフレームワークです。
事前トレーニング済みの 3D ネットワークが、さまざまなダウンストリーム タスク、つまり、セマンティック セグメンテーション用のラベル付きデータを使用したアノテーションなしおよび微調整などで、優れたパフォーマンスを発揮することを示します。
具体的には、CLIP に基づいて構築された、セマンティックおよび時空間一貫性の正則化を介して 3D ネットワークを事前トレーニングする、セマンティック駆動のクロスモーダル対照的学習フレームワークを設計します。
セマンティックの一貫性を正則化するために、最初に CLIP のテキスト セマンティクスを利用して正と負のポイント サンプルを選択し、次に対照的な損失を使用して 3D ネットワークをトレーニングします。
時空間整合性の正則化に関しては、時間的にコヒーレントな点群の特徴とそれに対応する画像の特徴との間の一貫性を強制します。
nuScenes および SemanticKITTI データセットで実験を行います。
事前トレーニング済みのネットワークは、20.8\% mIoU で初めて、アノテーションのない 3D セマンティック セグメンテーションを実現します。
1\% または 100\% のラベル付きデータで微調整すると、この方法は他の自己教師あり方法よりも大幅に優れており、それぞれ mIoU が 8\% および 1\% 向上します。
さらに、クロスドメイン データセットを処理するための一般化機能を示します。

要約(オリジナル)

Contrastive language-image pre-training (CLIP) achieves promising results in 2D zero-shot and few-shot learning. Despite the impressive performance in 2D tasks, applying CLIP to help the learning in 3D scene understanding has yet to be explored. In this paper, we make the first attempt to investigate how CLIP knowledge benefits 3D scene understanding. To this end, we propose CLIP2Scene, a simple yet effective framework that transfers CLIP knowledge from 2D image-text pre-trained models to a 3D point cloud network. We show that the pre-trained 3D network yields impressive performance on various downstream tasks, i.e., annotation-free and fine-tuning with labelled data for semantic segmentation. Specifically, built upon CLIP, we design a Semantic-driven Cross-modal Contrastive Learning framework that pre-trains a 3D network via semantic and spatial-temporal consistency regularization. For semantic consistency regularization, we first leverage CLIP’s text semantics to select the positive and negative point samples and then employ the contrastive loss to train the 3D network. In terms of spatial-temporal consistency regularization, we force the consistency between the temporally coherent point cloud features and their corresponding image features. We conduct experiments on the nuScenes and SemanticKITTI datasets. For the first time, our pre-trained network achieves annotation-free 3D semantic segmentation with 20.8\% mIoU. When fine-tuned with 1\% or 100\% labelled data, our method significantly outperforms other self-supervised methods, with improvements of 8\% and 1\% mIoU, respectively. Furthermore, we demonstrate its generalization capability for handling cross-domain datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google