Exploring Efficient Few-shot Adaptation for Vision Transformers

要約

Few-shot Learning (FSL) は、豊富なラベル付き学習サンプルを持つベースカテゴリから学習した知識を用いて、わずかなラベル付きサンプルを持つ新規カテゴリに対する推論を行うことを目的とするタスクである。FSLタスクに関する研究は数多くあるが、Vision Transformer (ViT) がFSLのバックボーンとして取り上げられることはほとんどなく、バックボーン全体や分類層のナイーブな微調整に焦点を当てた研究はほとんどない(})。ViTは他の視覚タスクと同等かそれ以上の性能を持つことが示されているが、実世界のFSLシナリオにおいてViTを効率的に微調整することは非常に非自明なことである。そこで、本研究では、FSLタスクにおけるViTの微調整を容易にする、新しい効率的なトランスフォーマーチューニング（eTT）手法を提案する。本手法は、タスクとバックボーンのチューニングのために、APT（Attentive Prefix Tuning）とDRA（Domain Residual Adapter）をそれぞれ新たに提示する。具体的には、APTでは、プレフィックスを各自己注意層に付けられた新しいキーと値のペアに投影し、モデルにタスク固有の情報を提供する。さらに、DRAを学習可能なオフセットベクトルとして設計し、ベースデータと新規データ間の潜在的なドメインギャップを扱う。さらに、APTが初期タスク固有情報から大きく外れないようにするために、我々は新しいプロトタイプ正則化を提案する。これは、初期プロトタイプとプレフィックスプロトタイプの予測分布の類似度を最大化し、更新手順を正則化するものである。本手法は、難易度の高いMeta-Datasetに対して優れた性能を発揮する。また、本手法の有効性を示すため、広範な実験を行った。

要約(オリジナル)

The task of Few-shot Learning (FSL) aims to do the inference on novel categories containing only few labeled examples, with the help of knowledge learned from base categories containing abundant labeled training samples. While there are numerous works into FSL task, Vision Transformers (ViTs) have rarely been taken as the backbone to FSL with few trials focusing on naive finetuning of whole backbone or classification layer.} Essentially, despite ViTs have been shown to enjoy comparable or even better performance on other vision tasks, it is still very nontrivial to efficiently finetune the ViTs in real-world FSL scenarios. To this end, we propose a novel efficient Transformer Tuning (eTT) method that facilitates finetuning ViTs in the FSL tasks. The key novelties come from the newly presented Attentive Prefix Tuning (APT) and Domain Residual Adapter (DRA) for the task and backbone tuning, individually. Specifically, in APT, the prefix is projected to new key and value pairs that are attached to each self-attention layer to provide the model with task-specific information. Moreover, we design the DRA in the form of learnable offset vectors to handle the potential domain gaps between base and novel data. To ensure the APT would not deviate from the initial task-specific information much, we further propose a novel prototypical regularization, which maximizes the similarity between the projected distribution of prefix and initial prototypes, regularizing the update procedure. Our method receives outstanding performance on the challenging Meta-Dataset. We conduct extensive experiments to show the efficacy of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL