Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models

要約

タイトル：事例に基づくダイナミックなプロンプト調整による事前学習済み点群モデルのチューニング
要約：

– 事前学習済みの点群モデルは、物体分類などのダウンストリームのタスクで広く利用されている。
– しかし、これらのタスクはしばしばモデルの完全なファインチューニングを必要とするため、ストレージに対する負荷が大きく、実際の応用が制限されることがある。
– ビジョンにおける視覚プロンプト調整（VPT）の成功を受けて、大規模モデルにおける完全なファインチューニングの効率的な代替として、点群事前学習済みモデルのプロンプト調整を探ることを試みた。
– しかし、点群データの分布の多様性のため、従来の静的VPTを点群に適用することは容易ではない。
– この問題に対処するため、IDPT（Instance-aware Dynamic Prompt Tuning）を提案し、プロンプトモジュールを使用して各インスタンスの意味的先行特徴を認識する。
– この意味的先行は、各インスタンスに固有のプロンプトを学習することを容易にし、ダウンストリームタスクが事前学習済み点群モデルに堅牢に適応できるようにする。
– 実験の結果、 IDPTは、学習可能なパラメータのわずか7％で、ほとんどのタスクでフルファインチューニングを上回り、ストレージ負荷を大幅に低減することが示された。コードは\url{https://github.com/zyh16143998882/IDPT}で利用可能。

要約(オリジナル)

Recently, pre-trained point cloud models have found extensive applications in downstream tasks like object classification. However, these tasks often require {full fine-tuning} of models and lead to storage-intensive procedures, thus limiting the real applications of pre-trained models. Inspired by the great success of visual prompt tuning (VPT) in vision, we attempt to explore prompt tuning, which serves as an efficient alternative to full fine-tuning for large-scale models, to point cloud pre-trained models to reduce storage costs. However, it is non-trivial to apply the traditional static VPT to point clouds, owing to the distribution diversity of point cloud data. For instance, the scanned point clouds exhibit various types of missing or noisy points. To address this issue, we propose an Instance-aware Dynamic Prompt Tuning (IDPT) for point cloud pre-trained models, which utilizes a prompt module to perceive the semantic prior features of each instance. This semantic prior facilitates the learning of unique prompts for each instance, thus enabling downstream tasks to robustly adapt to pre-trained point cloud models. Notably, extensive experiments conducted on downstream tasks demonstrate that IDPT outperforms full fine-tuning in most tasks with a mere 7\% of the trainable parameters, thus significantly reducing the storage pressure. Code is available at \url{https://github.com/zyh16143998882/IDPT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI