LPT: Long-tailed Prompt Tuning for Image Classification

要約

ロングテール分類では，大規模なデータセットを用いて大規模なモデルを事前学習し，その後，ロングテールデータに適応するようにモデル全体を微調整する手法が一般的である．しかし、事前学習されたモデル全体を微調整することは、計算コストやタスクごとに異なるモデルの配置に悩まされるだけでなく、ロングテールデータの特定の特徴にオーバーフィットするため汎化能力が弱くなる傾向がある。これらの問題を軽減するために、我々はロングテール分類のための効果的なロングテールプロンプトチューニング手法を提案する。LPTはロングテールデータに適応させるため、凍結された事前学習済みモデルに学習可能なプロンプトをいくつか導入する。1) 一般的な特徴を学習し、学習済みモデルを対象領域に適応させるためのロングテールデータセット全体に対する共有プロンプト、2) 類似した特徴を持つサンプルに対してグループ固有の特徴を収集し、学習済みモデルの識別能力を強化するためのグループ固有プロンプト、に分類される。そして、これらのプロンプトを学習するために、2段階の学習パラダイムを設計する。第1段階では、事前に学習したモデルを目的のロングテール領域に適応させるために、教師ありプロンプトチューニングにより共有プロンプトを学習する。第2段階では、学習した共有プロンプトをクエリーとして用い、グループ固有のプロンプト集合から類似サンプル群の小さなベストマッチ集合を選択し、これら類似サンプルの共通特徴を掘り起こした後、デュアルサンプリング戦略と非対称GCL損失により、これらのプロンプトを最適化する。LPTは学習済みモデルを固定したまま少数のプロンプトを微調整することで、少数のプロンプトを保存することで学習・導入コストを削減し、学習済みモデルの強い汎化能力を享受することができる。実験によれば、様々なロングテールベンチマークにおいて、LPTは1.1%のパラメータ追加で、従来のモデル全体微調整手法と同等の性能を達成し、ドメインシフトに対してより頑健であることが示された。

要約(オリジナル)

For long-tailed classification, most works often pretrain a big model on a large-scale dataset, and then fine-tune the whole model for adapting to long-tailed data. Though promising, fine-tuning the whole pretrained model tends to suffer from high cost in computation and deployment of different models for different tasks, as well as weakened generalization ability for overfitting to certain features of long-tailed data. To alleviate these issues, we propose an effective Long-tailed Prompt Tuning method for long-tailed classification. LPT introduces several trainable prompts into a frozen pretrained model to adapt it to long-tailed data. For better effectiveness, we divide prompts into two groups: 1) a shared prompt for the whole long-tailed dataset to learn general features and to adapt a pretrained model into target domain; and 2) group-specific prompts to gather group-specific features for the samples which have similar features and also to empower the pretrained model with discrimination ability. Then we design a two-phase training paradigm to learn these prompts. In phase 1, we train the shared prompt via supervised prompt tuning to adapt a pretrained model to the desired long-tailed domain. In phase 2, we use the learnt shared prompt as query to select a small best matched set for a group of similar samples from the group-specific prompt set to dig the common features of these similar samples, then optimize these prompts with dual sampling strategy and asymmetric GCL loss. By only fine-tuning a few prompts while fixing the pretrained model, LPT can reduce training and deployment cost by storing a few prompts, and enjoys a strong generalization ability of the pretrained model. Experiments show that on various long-tailed benchmarks, with only ~1.1% extra parameters, LPT achieves comparable performance than previous whole model fine-tuning methods, and is more robust to domain-shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL