Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach

要約

パラメータ効率の高い転移学習 (PETL) に関する最近の研究では、学習可能なパラメータがわずかしかない下流の認識タスクに、事前トレーニングされたビジョン トランスフォーマを適応させる可能性が示されています。
ただし、通常、事前トレーニングされたモデルに新しい構造が挿入されるため、そのモデルの中間特徴全体が変更されるため、バックプロパゲーションに関与させるために保存する必要があり、その結果、メモリを大量に使用するトレーニングが発生します。
私たちはこの問題を、新しい解きほぐした視点、つまり PETL をタスク固有の学習と事前訓練された知識の利用という 2 つの側面に分割するという観点から解決します。
具体的には、事前トレーニングされたモデルから独立した、学習可能で軽量なモジュールを使用してタスク固有のクエリを合成します。
タスク固有の知識を備えた合成クエリは、クエリのみの方法で、事前トレーニングされたモデルの中間表現から下流タスクに役立つ機能を抽出するのに役立ちます。
これらの機能に基づいて、入力サンプルの予測を行うためのカスタマイズされた分類ヘッドが提案されています。
軽量のアーキテクチャであり、勾配降下法を実行するための重い中間機能の使用を回避するため、トレーニングでのメモリ使用量が制限されることがわかります。
広範な実験により、私たちの方法がメモリの制約下で最先端のパフォーマンスを達成できることが実証され、現実の状況での適用可能性が実証されました。

要約(オリジナル)

Recent works on parameter-efficient transfer learning (PETL) show the potential to adapt a pre-trained Vision Transformer to downstream recognition tasks with only a few learnable parameters. However, since they usually insert new structures into the pre-trained model, entire intermediate features of that model are changed and thus need to be stored to be involved in back-propagation, resulting in memory-heavy training. We solve this problem from a novel disentangled perspective, i.e., dividing PETL into two aspects: task-specific learning and pre-trained knowledge utilization. Specifically, we synthesize the task-specific query with a learnable and lightweight module, which is independent of the pre-trained model. The synthesized query equipped with task-specific knowledge serves to extract the useful features for downstream tasks from the intermediate representations of the pre-trained model in a query-only manner. Built upon these features, a customized classification head is proposed to make the prediction for the input sample. lightweight architecture and avoids the use of heavy intermediate features for running gradient descent, it demonstrates limited memory usage in training. Extensive experiments manifest that our method achieves state-of-the-art performance under memory constraints, showcasing its applicability in real-world situations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google