PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning

要約

Point Cloudの自己教師の表現学習は、多様なタスク全体で事前に訓練されたモデルパフォーマンスを改善する上で有効性を実証しています。
ただし、事前に訓練されたモデルが複雑に成長するにつれて、ダウンストリームアプリケーションのために完全に微調整するには、かなりの計算およびストレージリソースが必要です。
パラメーター効率の高い微調整（PEFT）メソッドは、これらのリソース要件を軽減するための有望なソリューションを提供しますが、現在のアプローチのほとんどは、複雑なアダプターと調整可能なパラメーターを増やす迅速なメカニズムに依存しています。
このホワイトペーパーでは、Pointloraを提案します。Pointloraは、低ランク適応（LORA）とマルチスケールトークン選択を組み合わせて、ポイントクラウドモデルを効率的に微調整するためのシンプルで効果的な方法です。
私たちのアプローチは、ポイントクラウドトランスの最もパラメーター集約型コンポーネントにロラ層を埋め込み、グローバルな機能キャプチャを強化しながら調整可能なパラメーターの必要性を減らします。
さらに、マルチスケールのトークン選択は、重要なローカル情報を抽出して、ダウンストリームの微調整のプロンプトとして機能し、LORAによってキャプチャされたグローバルコンテキストを効果的に補完します。
さまざまな訓練を受けたモデルと3つの挑戦的なパブリックデータセットにわたる実験結果は、トレーニング可能なパラメーターの3.43％で競争力のあるパフォーマンスを実現し、リソース制約のあるアプリケーションに非常に効果的であることを示しています。
ソースコードは、https：//github.com/songw-zju/pointloraで入手できます。

要約(オリジナル)

Self-supervised representation learning for point cloud has demonstrated effectiveness in improving pre-trained model performance across diverse tasks. However, as pre-trained models grow in complexity, fully fine-tuning them for downstream applications demands substantial computational and storage resources. Parameter-efficient fine-tuning (PEFT) methods offer a promising solution to mitigate these resource requirements, yet most current approaches rely on complex adapter and prompt mechanisms that increase tunable parameters. In this paper, we propose PointLoRA, a simple yet effective method that combines low-rank adaptation (LoRA) with multi-scale token selection to efficiently fine-tune point cloud models. Our approach embeds LoRA layers within the most parameter-intensive components of point cloud transformers, reducing the need for tunable parameters while enhancing global feature capture. Additionally, multi-scale token selection extracts critical local information to serve as prompts for downstream fine-tuning, effectively complementing the global context captured by LoRA. The experimental results across various pre-trained models and three challenging public datasets demonstrate that our approach achieves competitive performance with only 3.43% of the trainable parameters, making it highly effective for resource-constrained applications. Source code is available at: https://github.com/songw-zju/PointLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google