Meta-Learning Siamese Network for Few-Shot Text Classification

要約

テキスト分類におけるラベル不足の問題に取り組むために、少数ショット学習が使用されてきました。プロトタイプ ネットワーク (PROTO) などのメタ学習ベースの方法が効果的であることが示されています。
PROTO の成功にもかかわらず、3 つの主要な問題がまだ存在します。(1) プロトタイプ ベクトルを計算するときに、サンプリングされたサポート セットのランダム性を無視します。
(2) 標識されたサンプルの重要性を無視する。
(3) 純粋にランダムな方法でメタタスクを構築します。
この論文では、これらの問題に対処するために、メタ学習シャムネットワーク、つまりMeta-SNを提案します。
具体的には、サンプリングされたサポート セットからプロトタイプ ベクトルを計算する代わりに、Meta-SN はクラス ラベルの外部知識 (クラス名や説明テキストなど) を利用します。クラス ラベルは、プロトタイプ ベクトルの低次元埋め込みとしてエンコードされます。
さらに、Meta-SN は、メタタスクを構築するための新しいサンプリング戦略を提示します。これにより、分類が難しいサンプルに高いサンプリング確率が与えられます。
6 つのベンチマーク データセットに対して広範な実験が行われ、他の最先端モデルに対する Meta-SN の明確な優位性が示されています。
再現性のために、すべてのデータセットとコードは https://github.com/hccngu/Meta-SN で提供されています。

要約(オリジナル)

Few-shot learning has been used to tackle the problem of label scarcity in text classification, of which meta-learning based methods have shown to be effective, such as the prototypical networks (PROTO). Despite the success of PROTO, there still exist three main problems: (1) ignore the randomness of the sampled support sets when computing prototype vectors; (2) disregard the importance of labeled samples; (3) construct meta-tasks in a purely random manner. In this paper, we propose a Meta-Learning Siamese Network, namely, Meta-SN, to address these issues. Specifically, instead of computing prototype vectors from the sampled support sets, Meta-SN utilizes external knowledge (e.g. class names and descriptive texts) for class labels, which is encoded as the low-dimensional embeddings of prototype vectors. In addition, Meta-SN presents a novel sampling strategy for constructing meta-tasks, which gives higher sampling probabilities to hard-to-classify samples. Extensive experiments are conducted on six benchmark datasets to show the clear superiority of Meta-SN over other state-of-the-art models. For reproducibility, all the datasets and codes are provided at https://github.com/hccngu/Meta-SN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google