Introspective Cross-Attention Probing for Lightweight Transfer of Pre-trained Models

要約

我々は、事前学習されたモデルの任意の活性化層にクロスアテンションする、転移学習のための軽量な手法であるInCAを提案する。InCAは、学習中に1回のフォワードパスで複数の活性化層を抽出し、それを外部のクロスアテンションアダプターに渡して新たに学習させ、下流のタスクのために組み合わせたり選択したりします。InCAは、トップスコアのアダプターを1つだけ選択する場合でも、最後の層だけを微調整するのと同等のコストで、完全な微調整に匹敵する性能を達成することを示す。例えば、事前に訓練したViT-L/16モデルの1.3%のサイズのクロスアテンションプローブを用いると、11のダウンストリーム分類タスクにおいて、ベースラインの51%の訓練コストで、フルファインチューニングパラゴンの0.2%以内の性能を達成しました。他の効率的な適応とは異なり、InCAは事前訓練されたモデルをバックプロパゲートする必要がないため、訓練と推論の両方でその実行が変更されないままです。InCAの汎用性は、最終層にはないが中間層の活性化でアクセス可能な情報にアクセスする必要があるような、きめ細かいタスクで最もよく示される。InCAは、バックボーンが固定されているため、複数のタスクの並列実行だけでなく、並列アンサンブルも可能です。InCAは、ImageNet-to-Sketchマルチタスクベンチマークにおいて、最先端の性能を達成した。

要約(オリジナル)

We propose InCA, a lightweight method for transfer learning that cross-attends to any activation layer of a pre-trained model. During training, InCA uses a single forward pass to extract multiple activations, which are passed to external cross-attention adapters, trained anew and combined or selected for downstream tasks. We show that, even when selecting a single top-scoring adapter, InCA achieves performance comparable to full fine-tuning, at a cost comparable to fine-tuning just the last layer. For example, with a cross-attention probe 1.3% the size of a pre-trained ViT-L/16 model, we achieve performance within 0.2% of the full fine-tuning paragon at 51% training cost of the baseline, on average across 11 downstream classification tasks. Unlike other forms of efficient adaptation, InCA does not require backpropagating through the pre-trained model, thus leaving its execution unaltered at both training and inference. The versatility of InCA is best illustrated in fine-grained tasks, which may require accessing information absent in the last layer but accessible in intermediate layer activations. Since the backbone is fixed, InCA allows parallel ensembling as well as parallel execution of multiple tasks. InCA achieves state-of-the-art performance in the ImageNet-to-Sketch multi-task benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL