FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning

要約

利用可能なデータが限られているため、ゼロからトレーニングされた既存の数回の学習方法では満足のいくパフォーマンスを達成できません。
対照的に、CLIP などの大規模な事前トレーニング済みモデルは、驚くべき少数ショットおよびゼロショット機能を示します。
ダウンストリーム タスクの事前トレーニング済みモデルのパフォーマンスを向上させるには、ダウンストリーム データに対するモデルの微調整が必​​要になることがよくあります。
ただし、事前トレーニングされたモデルを微調整すると、分布シフトが存在する場合は一般化可能性が低下します。また、少数ショット学習ではサンプル数が限られているため、モデルは過学習の影響を非常に受けやすくなります。
したがって、少数ショット学習を微調整するための既存の方法は、主にモデルの分類ヘッドを微調整するか、追加の構造を導入することに焦点を当てています。
このペーパーでは、特徴識別アライメント (FD-Align) と呼ばれる微調整アプローチを紹介します。
私たちの方法は、微調整プロセス全体にわたってスプリアス特徴の一貫性を維持することにより、モデルの一般化可能性を強化することを目的としています。
広範な実験結果により、ID タスクと OOD タスクの両方に対するアプローチの有効性が検証されています。
モデルを微調整すると、既存のメソッドとシームレスに統合でき、パフォーマンスの向上につながります。
私たちのコードは https://github.com/skingorz/FD-Align にあります。

要約(オリジナル)

Due to the limited availability of data, existing few-shot learning methods trained from scratch fail to achieve satisfactory performance. In contrast, large-scale pre-trained models such as CLIP demonstrate remarkable few-shot and zero-shot capabilities. To enhance the performance of pre-trained models for downstream tasks, fine-tuning the model on downstream data is frequently necessary. However, fine-tuning the pre-trained model leads to a decrease in its generalizability in the presence of distribution shift, while the limited number of samples in few-shot learning makes the model highly susceptible to overfitting. Consequently, existing methods for fine-tuning few-shot learning primarily focus on fine-tuning the model’s classification head or introducing additional structure. In this paper, we introduce a fine-tuning approach termed Feature Discrimination Alignment (FD-Align). Our method aims to bolster the model’s generalizability by preserving the consistency of spurious features across the fine-tuning process. Extensive experimental results validate the efficacy of our approach for both ID and OOD tasks. Once fine-tuned, the model can seamlessly integrate with existing methods, leading to performance improvements. Our code can be found in https://github.com/skingorz/FD-Align.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google