Mask-guided BERT for Few Shot Text Classification

要約

Transformer ベースの言語モデルは、さまざまな分野で大きな成功を収めています。
ただし、Transformer アーキテクチャのデータ集約型の性質には、大量のラベル付きデータが必要であり、リソースが少ないシナリオ (つまり、少数ショット学習 (FSL)) では困難です。
FSL の主な課題は、少量のサンプルでロバストなモデルをトレーニングすることの難しさであり、オーバーフィッティングにつながることがよくあります。
ここでは、BERT ベースのアーキテクチャが FSL に取り組むのに役立つシンプルなモジュール式フレームワークである Mask-BERT を紹介します。
提案されたアプローチは、プロンプト チューニングやメタ学習などの既存の FSL 戦略とは根本的に異なります。
核となるアイデアは、テキスト入力にマスクを選択的に適用し、無関係な情報を除外することです。これにより、モデルは予測結果に影響を与える識別トークンに焦点を当てるようになります。
さらに、異なるカテゴリからのテキスト表現をより分離可能にし、同じカテゴリからのテキスト表現をよりコンパクトにするために、対照的な学習損失関数を導入します。
パブリック ドメインのベンチマーク データセットに関する実験結果は、Mask-BERT の有効性を示しています。

要約(オリジナル)

Transformer-based language models have achieved significant success in various domains. However, the data-intensive nature of the transformer architecture requires much labeled data, which is challenging in low-resource scenarios (i.e., few-shot learning (FSL)). The main challenge of FSL is the difficulty of training robust models on small amounts of samples, which frequently leads to overfitting. Here we present Mask-BERT, a simple and modular framework to help BERT-based architectures tackle FSL. The proposed approach fundamentally differs from existing FSL strategies such as prompt tuning and meta-learning. The core idea is to selectively apply masks on text inputs and filter out irrelevant information, which guides the model to focus on discriminative tokens that influence prediction results. In addition, to make the text representations from different categories more separable and the text representations from the same category more compact, we introduce a contrastive learning loss function. Experimental results on public-domain benchmark datasets demonstrate the effectiveness of Mask-BERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google