Revisiting Unsupervised Meta-Learning via the Characteristics of Few-Shot Tasks

要約

メタ学習は、「分類器を学習するための戦略」をラベル付きベースクラスでメタ学習し、新規クラスを持つタスクに適用する、少数撮影画像分類に対する実用的なアプローチとなっている。我々は、ベースクラスラベルの要件を取り除き、教師なしメタ学習（Unsupervised Meta-Learning：UML）により汎化可能な埋め込みを学習する。具体的には、メタ学習時にラベルのない基底クラスからデータを補強してタスクのエピソードを構築し、メタテスト時にラベル付き少数ショット例で新規タスクに埋め込みに基づく分類器を適用する。UMLでは、タスクのサンプリング方法とインスタンス間の類似度測定の2つの要素が重要な役割を担っていることがわかる。そこで、我々は2つの簡単な修正、すなわち、エピソードごとに複数のタスクを効率的に構成する十分なサンプリング戦略と、半正規化類似度により、強力なベースラインを得た。次に、タスクの特性を利用して、2つの方向からさらなる改善を行う。まず、より識別性の高い埋め込みを抽出するために、合成された紛らわしいインスタンスを取り入れる。第二に、メタ学習時にタスクに特化した埋め込み変換を補助的に利用し、事前に適応された埋め込みの汎化能力を促進する。数撃ちゃ当たるの学習ベンチマークを用いた実験により、我々のアプローチが従来のUML手法を凌駕し、教師付き手法と同等もしくはそれ以上の性能を達成することが確認された。

要約(オリジナル)

Meta-learning has become a practical approach towards few-shot image classification, where ‘a strategy to learn a classifier’ is meta-learned on labeled base classes and can be applied to tasks with novel classes. We remove the requirement of base class labels and learn generalizable embeddings via Unsupervised Meta-Learning (UML). Specifically, episodes of tasks are constructed with data augmentations from unlabeled base classes during meta-training, and we apply embedding-based classifiers to novel tasks with labeled few-shot examples during meta-test. We observe two elements play important roles in UML, i.e., the way to sample tasks and measure similarities between instances. Thus we obtain a strong baseline with two simple modifications — a sufficient sampling strategy constructing multiple tasks per episode efficiently together with a semi-normalized similarity. We then take advantage of the characteristics of tasks from two directions to get further improvements. First, synthesized confusing instances are incorporated to help extract more discriminative embeddings. Second, we utilize an additional task-specific embedding transformation as an auxiliary component during meta-training to promote the generalization ability of the pre-adapted embeddings. Experiments on few-shot learning benchmarks verify that our approaches outperform previous UML methods and achieve comparable or even better performance than its supervised variants.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL