SCT: A Simple Baseline for Parameter-Efficient Fine-Tuning via Salient Channels

要約

事前トレーニングされたビジョン トランスフォーマーは、さまざまな下流タスクに対して表現上の強力な利点をもたらします。
最近、多くのパラメーター効率の良い微調整 (PEFT) 手法が提案されており、その実験では、データ量が少ないリソースのシナリオでは、追加パラメーターの 1% のみを調整するだけで完全な微調整を超えることができることが実証されています。
ただし、これらの方法では、さまざまな下流タスクを微調整するときに、タスク固有の情報が見落とされます。
この論文では、「Salient Channel Tuning」(SCT) と呼ばれるシンプルかつ効果的な方法を提案します。これは、タスク画像を含むモデルを転送して、1 つのみを調整できる特徴マップ内の部分チャネルを選択することで、タスク固有の情報を活用します。
/8 チャネルによりパラメータ コストが大幅に削減されます。
実験では、ViT-B の 0.11M パラメーターのみを追加することで、VTAB-1K ベンチマークの 19 タスク中 18 タスクで完全微調整よりも優れたパフォーマンスを示しました。これは、完全微調整対応のものより 780$\time$ 少ないです。
さらに、ドメイン一般化と少数ショット学習の実験は、より低いパラメータコストで他の PEFT 手法を上回り、低データ領域における私たちの提案した調整手法の強力な機能と有効性を実証しています。

要約(オリジナル)

Pre-trained vision transformers have strong representation benefits to various downstream tasks. Recently, many parameter-efficient fine-tuning (PEFT) methods have been proposed, and their experiments demonstrate that tuning only 1% of extra parameters could surpass full fine-tuning in low-data resource scenarios. However, these methods overlook the task-specific information when fine-tuning diverse downstream tasks. In this paper, we propose a simple yet effective method called ‘Salient Channel Tuning’ (SCT) to leverage the task-specific information by forwarding the model with the task images to select partial channels in a feature map that enables us to tune only 1/8 channels leading to significantly lower parameter costs. Experiments outperform full fine-tuning on 18 out of 19 tasks in the VTAB-1K benchmark by adding only 0.11M parameters of the ViT-B, which is 780$\times$ fewer than its full fine-tuning counterpart. Furthermore, experiments on domain generalization and few-shot learning surpass other PEFT methods with lower parameter costs, demonstrating our proposed tuning technique’s strong capability and effectiveness in the low-data regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google