Automatic Combination of Sample Selection Strategies for Few-Shot Learning

要約

メタ学習、少数精選学習、文脈内学習などの少数精選学習では、モデルの学習に使われる限られたサンプル数が全体の成功に大きな影響を与える。数多くのサンプル選択戦略が存在するが、そのほとんどが典型的な教師あり設定でのみ評価されているため、少数ショット学習の性能に対するそれらの影響は広く知られていない。本論文では、8つの画像データと6つのテキストデータセットを用いて、20のサンプル選択戦略が5つの少数ショット学習アプローチの性能に与える影響を徹底的に調査する。さらに、各選択戦略の長所と相補的な情報を活用する、新しいサンプル選択戦略の自動組合せ手法（ACSESS）を提案する。実験の結果、本手法は、個々の選択戦略や、最近提案された文脈内学習のための支援例選択手法を常に凌駕することが示された。また、大部分の戦略について、モダリティ、データセット、アプローチへの強い依存性を示すとともに、ショット数への依存性を示す。つまり、サンプル選択戦略は、ショット数が少ない場合には重要な役割を果たすが、ショット数が多くなるとランダム選択に回帰することを示す。

要約(オリジナル)

In few-shot learning, such as meta-learning, few-shot fine-tuning or in-context learning, the limited number of samples used to train a model have a significant impact on the overall success. Although a large number of sample selection strategies exist, their impact on the performance of few-shot learning is not extensively known, as most of them have been so far evaluated in typical supervised settings only. In this paper, we thoroughly investigate the impact of 20 sample selection strategies on the performance of 5 few-shot learning approaches over 8 image and 6 text datasets. In addition, we propose a new method for automatic combination of sample selection strategies (ACSESS) that leverages the strengths and complementary information of the individual strategies. The experimental results show that our method consistently outperforms the individual selection strategies, as well as the recently proposed method for selecting support examples for in-context learning. We also show a strong modality, dataset and approach dependence for the majority of strategies as well as their dependence on the number of shots – demonstrating that the sample selection strategies play a significant role for lower number of shots, but regresses to random selection at higher number of shots.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL