Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference

要約

パラメータ効率の良い微調整 (PEFT) は、事前トレーニングされたビジョン トランスフォーマー (ViT) モデルを下流のアプリケーションに適応させるための一般的なアプローチとして浮上しています。
現在の PEFT 手法はパラメータ効率を実現していますが、ViT アーキテクチャで冗長トークンの計算が繰り返されるため、微調整と推論の両方で GPU メモリと時間効率が見落とされています。
これは、下流のタスク適応のための実際的な要件を満たしていません。
この論文では、事前トレーニングされた ViT モデルの微調整と推論効率の両方を大幅に向上させる新しい調整パラダイムである \textbf{Sparse-Tuning} を提案します。
スパースチューニングは、情報トークンをまばらに保存し、冗長なトークンをマージすることで、事前トレーニングされた ViT を効率的に微調整します。これにより、画像内の背景領域の計算コストを削減しながら、ViT が前景に焦点を当てることができるようになります。
有益なトークンと非有益なトークンを正確に区別するために、ViT 内のさまざまなエンコーダー層にわたって高密度接続を確立するカスタマイズされた高密度アダプターを導入します。これにより、トークンのスパース化の表現能力と品質が向上します。
VTAB-1K、3 つの完全な画像データセット、および 2 つの完全なビデオ データセットに関する実験結果は、スパース チューニングによって GFLOP が元の ViT-B の \textbf{62\%-70\%} に削減され、同時に最新の状態が達成されることを示しています。
-アートパフォーマンス。
ソース コードは \url{https://github.com/liuting20/Sparse-Tuning} で入手できます。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) has emerged as a popular approach for adapting pre-trained Vision Transformer (ViT) models to downstream applications. While current PEFT methods achieve parameter efficiency, they overlook GPU memory and time efficiency during both fine-tuning and inference, due to the repeated computation of redundant tokens in the ViT architecture. This falls short of practical requirements for downstream task adaptation. In this paper, we propose \textbf{Sparse-Tuning}, a novel tuning paradigm that substantially enhances both fine-tuning and inference efficiency for pre-trained ViT models. Sparse-Tuning efficiently fine-tunes the pre-trained ViT by sparsely preserving the informative tokens and merging redundant ones, enabling the ViT to focus on the foreground while reducing computational costs on background regions in the images. To accurately distinguish informative tokens from uninformative ones, we introduce a tailored Dense Adapter, which establishes dense connections across different encoder layers in the ViT, thereby enhancing the representational capacity and quality of token sparsification. Empirical results on VTAB-1K, three complete image datasets, and two complete video datasets demonstrate that Sparse-Tuning reduces the GFLOPs to \textbf{62\%-70\%} of the original ViT-B while achieving state-of-the-art performance. Source code is available at \url{https://github.com/liuting20/Sparse-Tuning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google