Constrained Few-Shot Learning: Human-Like Low Sample Complexity Learning and Non-Episodic Text Classification

要約

フューショット学習 (FSL) は、人間がほんの少数の例から学習、一般化、推定する方法を模倣するために、低いサンプルの複雑さで推論する方法を学習しようとする新しい学習パラダイムです。
FSL はこれらの人間の特性を模倣しようとしますが、基本的に、エピソードベースのトレーニングによるメタ学習を使用して従来から定式化されている FSL のタスクは、実際には人間が知識を獲得し、それを使って推論する方法と一致しません。
エピソードトレーニングを使用する FSL では、各テスト クラスの $K$ インスタンスのみが必要ですが、それでも、素のクラスからのラベル付きトレーニング インスタンスが大量に必要になります。
この論文では、制約付き少数ショット学習 (CFSL) という新しいタスクを紹介します。これは FSL の特殊なケースであり、各トレーニング クラスのインスタンス数 $M$ が $M \leq K$ のように制約され、
FSL のトレーニングおよびテスト中にも同様の制限があります。
ファジートレース理論やプロトタイプ理論などの認知理論に触発された新しいカテゴリカル対比損失を使用して、Cat2Vecを活用するCFSLの方法を提案します。

要約(オリジナル)

Few-shot learning (FSL) is an emergent paradigm of learning that attempts to learn to reason with low sample complexity to mimic the way humans learn, generalise and extrapolate from only a few seen examples. While FSL attempts to mimic these human characteristics, fundamentally, the task of FSL as conventionally formulated using meta-learning with episodic-based training does not in actuality align with how humans acquire and reason with knowledge. FSL with episodic training, while only requires $K$ instances of each test class, still requires a large number of labelled training instances from disjoint classes. In this paper, we introduce the novel task of constrained few-shot learning (CFSL), a special case of FSL where $M$, the number of instances of each training class is constrained such that $M \leq K$ thus applying a similar restriction during FSL training and test. We propose a method for CFSL leveraging Cat2Vec using a novel categorical contrastive loss inspired by cognitive theories such as fuzzy trace theory and prototype theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google