CLIP goes 3D: Leveraging Prompt Tuning for Language Grounded 3D Recognition

要約

CLIP のようなビジョン言語モデルは、その印象的なゼロショット機能により、さまざまなタスクに広く採用されています。
ただし、CLIP は自然言語の監督によって画像とテキストのみでトレーニングされているため、3D 幾何学的特徴の抽出には適していません。
私たちはこの制限への対処に取り組んでおり、CG3D (CLIP Goes 3D) と呼ばれる新しいフレームワークを提案しています。このフレームワークでは、3D エンコーダーがゼロショット機能を示すように学習されます。
CG3D は、点群のトリプレット、対応するレンダリングされた 2D 画像、および自然言語監視を使用したテキストを使用してトレーニングされます。
マルチモーダル埋め込み空間で機能を整列させるために、3D エンコーダーから取得した 3D 機能のコントラスト損失、および CLIP から抽出された視覚的およびテキスト機能を利用します。
CLIP のトレーニングに使用される自然画像と CG3D でレンダリングされた 2D 画像には分布シフトがあることに注意してください。
このシフトを説明するためにビジュアル エンコーダーとテキスト エンコーダーをトレーニングしようとすると、壊滅的な忘却が発生し、パフォーマンスが著しく低下します。
これを解決するために、プロンプト チューニングを採用し、入力空間にトレーニング可能なパラメーターを導入して、CG3D で利用される 3D 事前トレーニング データセットに向けて CLIP をシフトします。
事前トレーニング済みの CG3D フレームワークを広範囲にテストし、ゼロ ショット、オープン シーンの理解、および検索タスクにおけるその優れた機能を実証します。
さらに、下流の 3D 認識タスクで微調整するための強力な開始重みとしても機能します。

要約(オリジナル)

Vision-Language models like CLIP have been widely adopted for various tasks due to their impressive zero-shot capabilities. However, CLIP is not suitable for extracting 3D geometric features as it was trained on only images and text by natural language supervision. We work on addressing this limitation and propose a new framework termed CG3D (CLIP Goes 3D) where a 3D encoder is learned to exhibit zero-shot capabilities. CG3D is trained using triplets of pointclouds, corresponding rendered 2D images, and texts using natural language supervision. To align the features in a multimodal embedding space, we utilize contrastive loss on 3D features obtained from the 3D encoder, as well as visual and text features extracted from CLIP. We note that the natural images used to train CLIP and the rendered 2D images in CG3D have a distribution shift. Attempting to train the visual and text encoder to account for this shift results in catastrophic forgetting and a notable decrease in performance. To solve this, we employ prompt tuning and introduce trainable parameters in the input space to shift CLIP towards the 3D pre-training dataset utilized in CG3D. We extensively test our pre-trained CG3D framework and demonstrate its impressive capabilities in zero-shot, open scene understanding, and retrieval tasks. Further, it also serves as strong starting weights for fine-tuning in downstream 3D recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google