Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning

要約

最近、事前トレーニング技術を活用して点群モデルを強化することが注目の研究テーマになっています。
ただし、既存のアプローチでは通常、下流のタスクで満足のいくパフォーマンスを達成するために、事前トレーニングされたモデルを完全に微調整する必要があり、ストレージ集約型で計算負荷が高くなります。
この問題に対処するために、我々は、PointGST (Point Cloud Graph Spectral Tuning) と呼ばれる、点群のための新しい Parameter-Efficient Fine-Tuning (PEFT) 方法を提案します。
PointGST は、事前トレーニングされたモデルをフリーズし、軽量でトレーニング可能な点群スペクトル アダプター (PCSA) を導入して、スペクトル ドメインのパラメーターを微調整します。
核となるアイデアは 2 つの観察に基づいて構築されています。1) 凍結されたモデルからの内部トークンは、空間領域で混乱を引き起こす可能性があります。
2) タスク固有の固有情報は、一般的な知識を下流のタスクに転送するために重要です。
具体的には、PointGST はポイント トークンを空間ドメインからスペクトル ドメインに転送し、分離に直交成分を使用することでトークン間の混乱を効果的に非相関化します。
さらに、生成されたスペクトル基底には下流の点群に関する固有の情報が含まれており、よりターゲットを絞った調整が可能になります。
その結果、PointGST は、トレーニング コストを大幅に削減しながら、一般知識を下流のタスクに効率的に伝達することを容易にします。
さまざまなタスクにわたる困難な点群データセットに関する広範な実験により、PointGST が完全に微調整された対応物よりも優れたパフォーマンスを発揮するだけでなく、トレーニング可能なパラメータが大幅に削減され、効率的な点群学習のための有望なソリューションとなることが実証されました。
堅調なベースラインから +2.28%、1.16%、2.78% 向上し、ScanObjNN OBJ BG、OBJ OBLY、PB T50 RS データセットではそれぞれ 99.48%、97.76%、96.18% となりました。
この進歩により、トレーニング可能なパラメータのわずか 0.67% を使用して、新たな最先端技術が確立されました。

要約(オリジナル)

Recently, leveraging pre-training techniques to enhance point cloud models has become a hot research topic. However, existing approaches typically require full fine-tuning of pre-trained models to achieve satisfied performance on downstream tasks, accompanying storage-intensive and computationally demanding. To address this issue, we propose a novel Parameter-Efficient Fine-Tuning (PEFT) method for point cloud, called PointGST (Point cloud Graph Spectral Tuning). PointGST freezes the pre-trained model and introduces a lightweight, trainable Point Cloud Spectral Adapter (PCSA) to fine-tune parameters in the spectral domain. The core idea is built on two observations: 1) The inner tokens from frozen models might present confusion in the spatial domain; 2) Task-specific intrinsic information is important for transferring the general knowledge to the downstream task. Specifically, PointGST transfers the point tokens from the spatial domain to the spectral domain, effectively de-correlating confusion among tokens via using orthogonal components for separating. Moreover, the generated spectral basis involves intrinsic information about the downstream point clouds, enabling more targeted tuning. As a result, PointGST facilitates the efficient transfer of general knowledge to downstream tasks while significantly reducing training costs. Extensive experiments on challenging point cloud datasets across various tasks demonstrate that PointGST not only outperforms its fully fine-tuning counterpart but also significantly reduces trainable parameters, making it a promising solution for efficient point cloud learning. It improves upon a solid baseline by +2.28%, 1.16%, and 2.78%, resulting in 99.48%, 97.76%, and 96.18% on the ScanObjNN OBJ BG, OBJ OBLY, and PB T50 RS datasets, respectively. This advancement establishes a new state-of-the-art, using only 0.67% of the trainable parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google