Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling

要約

ニューラル シーケンス ラベル付け (NSL) は、名前付きエンティティ認識 (NER) やスロット フィリングなどの幅広いアプリケーションをカバーする入力言語トークンにラベルを割り当てることを目的としています。
データのプライバシーと計算効率の問題により、実際のシナリオでは実現できない可能性がある大量の人間の注釈データに依存します。
このホワイト ペーパーでは、NSL がラベル付きデータ不足の問題に対処し、ラベルなしデータを効果的に利用するための新しい不確実性認識自己トレーニング フレームワークである SeqUST を紹介します。
具体的には、モンテカルロ (MC) ドロップアウトをベイジアン ニューラル ネットワーク (BNN) に組み込み、トークン レベルで不確実性推定を実行し、モデルの信頼性と確実性に基づいて、ラベル付けされていないデータから信頼できる言語トークンを選択します。
ノイズに強い損失を持つ適切に設計されたマスクされたシーケンスのラベル付けタスクは、ノイズの多い疑似ラベルの問題を抑制することを目的とした堅牢なトレーニングをサポートします。
さらに、ガウス分布の摂動表現のモデルの堅牢性をさらに向上させるために、ガウスベースの一貫性のある正則化手法を開発します。
これにより、疑似ラベル付きの拡張データに起因するオーバーフィッティングのジレンマが効果的に軽減されます。
6 つのベンチマークにわたる広範な実験により、当社の SeqUST フレームワークが自己トレーニングのパフォーマンスを効果的に改善し、リソースの少ないシナリオで強力なベースラインを一貫して大幅に上回ることが実証されました。

要約(オリジナル)

Neural sequence labeling (NSL) aims at assigning labels for input language tokens, which covers a broad range of applications, such as named entity recognition (NER) and slot filling, etc. However, the satisfying results achieved by traditional supervised-based approaches heavily depend on the large amounts of human annotation data, which may not be feasible in real-world scenarios due to data privacy and computation efficiency issues. This paper presents SeqUST, a novel uncertain-aware self-training framework for NSL to address the labeled data scarcity issue and to effectively utilize unlabeled data. Specifically, we incorporate Monte Carlo (MC) dropout in Bayesian neural network (BNN) to perform uncertainty estimation at the token level and then select reliable language tokens from unlabeled data based on the model confidence and certainty. A well-designed masked sequence labeling task with a noise-robust loss supports robust training, which aims to suppress the problem of noisy pseudo labels. In addition, we develop a Gaussian-based consistency regularization technique to further improve the model robustness on Gaussian-distributed perturbed representations. This effectively alleviates the over-fitting dilemma originating from pseudo-labeled augmented data. Extensive experiments over six benchmarks demonstrate that our SeqUST framework effectively improves the performance of self-training, and consistently outperforms strong baselines by a large margin in low-resource scenarios

arxiv情報

提供元, 利用サービス

arxiv.jp, Google