Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning

要約

最新のディープ ラーニングでは、トレーニングのために大規模で広範囲にラベル付けされたデータセットが必要です。
少数ショット学習は、ラベル付けされた少数の例から効果的に学習することで、この問題を軽減することを目的としています。
以前に提案された少数ショットの視覚的分類器では、分類器の決定が行われる特徴多様体は、相関のない特徴次元と均一な特徴分散を持っていると想定されています。
この作業では、低ラベル体制で動作する分散に敏感なモデルのクラスを提案することにより、この仮定から生じる制限に対処することに焦点を当てています。
最初の方法である Simple CNAPS は、階層的に正則化されたマハラノビス距離ベースの分類器を最先端のニューラル適応特徴抽出器と組み合わせて使用​​し、Meta-Dataset、mini-ImageNet、および tiered-ImageNet ベンチマークで強力なパフォーマンスを実現します。
このアプローチを伝達的学習設定にさらに拡張し、伝達的 CNAPS を提案します。
この変換法は、ソフト k-means パラメーター調整手順と 2 段階のタスク エンコーダーを組み合わせて、ラベル付けされていないデータを使用してテスト時間の分類精度を向上させます。
Transductive CNAPS は、Meta-Dataset で最先端のパフォーマンスを実現します。
最後に、「箱から出して」継続的かつアクティブな学習のためのメソッド (単純およびトランスダクティブ) の使用を探ります。
大規模なベンチマークでの広範な実験は、この比較的単純なクラスのモデルの堅牢性と汎用性を示しています。
トレーニング済みのモデル チェックポイントと対応するソース コードはすべて公開されています。

要約(オリジナル)

Modern deep learning requires large-scale extensively labelled datasets for training. Few-shot learning aims to alleviate this issue by learning effectively from few labelled examples. In previously proposed few-shot visual classifiers, it is assumed that the feature manifold, where classifier decisions are made, has uncorrelated feature dimensions and uniform feature variance. In this work, we focus on addressing the limitations arising from this assumption by proposing a variance-sensitive class of models that operates in a low-label regime. The first method, Simple CNAPS, employs a hierarchically regularized Mahalanobis-distance based classifier combined with a state of the art neural adaptive feature extractor to achieve strong performance on Meta-Dataset, mini-ImageNet and tiered-ImageNet benchmarks. We further extend this approach to a transductive learning setting, proposing Transductive CNAPS. This transductive method combines a soft k-means parameter refinement procedure with a two-step task encoder to achieve improved test-time classification accuracy using unlabelled data. Transductive CNAPS achieves state of the art performance on Meta-Dataset. Finally, we explore the use of our methods (Simple and Transductive) for ‘out of the box’ continual and active learning. Extensive experiments on large scale benchmarks illustrate robustness and versatility of this, relatively speaking, simple class of models. All trained model checkpoints and corresponding source codes have been made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google