How to Fine-tune Models with Few Samples: Update, Data Augmentation, and Test-time Augmentation

要約

最近の少数ショット学習 (FSL) アルゴリズムのほとんどは転移学習に基づいており、モデルは大量のソース データを使用して事前トレーニングされ、事前トレーニング済みのモデルは少量のターゲット データを使用して微調整されます。
.
転移学習ベースの FSL では、普遍的な表現のために洗練された事前トレーニング方法が広く研究されています。
したがって、下流のタスクでユニバーサル表現を利用することがより重要になっていますが、FSL での微調整に関する研究はほとんどありません。
このホワイト ペーパーでは、更新、データ拡張、テスト時間拡張の 3 つの観点から、事前トレーニング済みのモデルを少数ショットのダウンストリーム タスクに転送する方法に焦点を当てます。
まず、2 つの一般的な更新方法、完全な微調整 (つまり、ネットワーク全体を更新する FT) と線形プローブ (つまり、線形分類子のみを更新する LP) を比較します。
サンプル数が非常に少ない場合は LP が FT よりも優れていることがわかりますが、トレーニング サンプルが増えると FT が LP よりも優れていることがわかります。
次に、データ拡張は少数ショットのパフォーマンスの改善を保証できないことを示し、拡張の強度に基づいてデータ拡張の有効性を調査します。
最後に、更新用のサポート セット (つまり、データ拡張) と予測用のクエリ セット (つまり、テスト時間の拡張) の両方に拡張を採用し、サポート クエリの分散シフトを考慮して、少数ショットのパフォーマンスを向上させます。
コードは https://github.com/kimyuji/updating_FSL で入手できます。

要約(オリジナル)

Most of the recent few-shot learning (FSL) algorithms are based on transfer learning, where a model is pre-trained using a large amount of source data, and the pre-trained model is fine-tuned using a small amount of target data. In transfer learning-based FSL, sophisticated pre-training methods have been widely studied for universal representation. Therefore, it has become more important to utilize the universal representation for downstream tasks, but there are few studies on fine-tuning in FSL. In this paper, we focus on how to transfer pre-trained models to few-shot downstream tasks from the three perspectives: update, data augmentation, and test-time augmentation. First, we compare the two popular update methods, full fine-tuning (i.e., updating the entire network, FT) and linear probing (i.e., updating only a linear classifier, LP). We find that LP is better than FT with extremely few samples, whereas FT outperforms LP as training samples increase. Next, we show that data augmentation cannot guarantee few-shot performance improvement and investigate the effectiveness of data augmentation based on the intensity of augmentation. Finally, we adopt augmentation to both a support set for update (i.e., data augmentation) as well as a query set for prediction (i.e., test-time augmentation), considering support-query distribution shifts, and improve few-shot performance. The code is available at https://github.com/kimyuji/updating_FSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google