Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models

要約

事前トレーニングされた点群モデルは、オブジェクトの分類やパーツのセグメンテーションなどの 3D 理解タスクに広範囲に応用されています。
ただし、ダウンストリーム タスクでの完全な微調整という一般的な戦略では、モデル パラメーターのタスクごとのストレージ オーバーヘッドが大きくなり、大規模な事前トレーニング済みモデルを適用する場合の効率が制限されます。
このペーパーでは、ビジュアル プロンプト チューニング (VPT) の最近の成功に触発され、事前トレーニングされた点群モデルでのプロンプト チューニングを検討し、パフォーマンスとパラメーター効率の間の洗練されたバランスを追求します。
インスタンスに依存しない静的なプロンプトが見つかります。
VPT は、下流の転送ではある程度の効果を示しますが、現実世界の点群データのさまざまな種類のノイズによって引き起こされる分布の多様性に対して脆弱です。
この制限を克服するために、事前トレーニングされた点群モデル用の新しいインスタンス認識ダイナミック プロンプト チューニング (IDPT) 戦略を提案します。
IDPT の本質は、各点群インスタンスの意味論的な事前特徴を認識し、モデルの堅牢性を強化するための適応プロンプト トークンを生成する動的プロンプト生成モジュールを開発することです。
特に、広範な実験により、IDPT はトレーニング可能なパラメーターのわずか 7% を使用するほとんどのタスクで完全な微調整よりも優れたパフォーマンスを示し、事前トレーニングされた点群モデルのパラメーター効率の高い学習に有望なソリューションを提供することが実証されています。
コードは \url{https://github.com/zyh16143998882/ICCV23-IDPT} で入手できます。

要約(オリジナル)

Pre-trained point cloud models have found extensive applications in 3D understanding tasks like object classification and part segmentation. However, the prevailing strategy of full fine-tuning in downstream tasks leads to large per-task storage overhead for model parameters, which limits the efficiency when applying large-scale pre-trained models. Inspired by the recent success of visual prompt tuning (VPT), this paper attempts to explore prompt tuning on pre-trained point cloud models, to pursue an elegant balance between performance and parameter efficiency. We find while instance-agnostic static prompting, e.g. VPT, shows some efficacy in downstream transfer, it is vulnerable to the distribution diversity caused by various types of noises in real-world point cloud data. To conquer this limitation, we propose a novel Instance-aware Dynamic Prompt Tuning (IDPT) strategy for pre-trained point cloud models. The essence of IDPT is to develop a dynamic prompt generation module to perceive semantic prior features of each point cloud instance and generate adaptive prompt tokens to enhance the model’s robustness. Notably, extensive experiments demonstrate that IDPT outperforms full fine-tuning in most tasks with a mere 7% of the trainable parameters, providing a promising solution to parameter-efficient learning for pre-trained point cloud models. Code is available at \url{https://github.com/zyh16143998882/ICCV23-IDPT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google