Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification

要約

少数ショットのテキスト分類は、少数ショットのシナリオに基づいてテキストを分類することを目的としています。
これまでの手法のほとんどは、タスク分散を取得するために最適化ベースのメタ学習を採用していました。
しかし、これらの方法は、少数のサンプルと複雑なモデルの間のマッチング、および有用なタスク特徴と役に立たないタスク特徴の区別が無視されるため、過剰適合の問題に悩まされます。
この問題に対処するために、新しいタスクに対するモデルの汎化能力を向上させる、新しい適応型メタ学習器による勾配類似性 (AMGS) 手法を提案します。
具体的には、提案された AMGS は、次の 2 つの側面に基づいてオーバーフィッティングを軽減します。(i) サンプルの潜在的な意味論的表現を取得し、内部ループの自己教師付き補助タスクを通じてモデルの一般化を改善します。(ii) 勾配を介した適応メタ学習器を活用します。
類似性を使用して、外側のループの Base-Learner によって取得された勾配に制約を追加します。
さらに、フレームワーク全体に対する正則化の影響を体系的に分析します。
いくつかのベンチマークの実験結果は、提案された AMGS が最先端の最適化ベースのメタ学習アプローチと比較して、少数ショットのテキスト分類パフォーマンスを一貫して向上させることを示しています。

要約(オリジナル)

Few-shot text classification aims to classify the text under the few-shot scenario. Most of the previous methods adopt optimization-based meta learning to obtain task distribution. However, due to the neglect of matching between the few amount of samples and complicated models, as well as the distinction between useful and useless task features, these methods suffer from the overfitting issue. To address this issue, we propose a novel Adaptive Meta-learner via Gradient Similarity (AMGS) method to improve the model generalization ability to a new task. Specifically, the proposed AMGS alleviates the overfitting based on two aspects: (i) acquiring the potential semantic representation of samples and improving model generalization through the self-supervised auxiliary task in the inner loop, (ii) leveraging the adaptive meta-learner via gradient similarity to add constraints on the gradient obtained by base-learner in the outer loop. Moreover, we make a systematic analysis of the influence of regularization on the entire framework. Experimental results on several benchmarks demonstrate that the proposed AMGS consistently improves few-shot text classification performance compared with the state-of-the-art optimization-based meta-learning approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google