A Multi-Task Semantic Decomposition Framework with Task-specific Pre-training for Few-Shot NER

要約

少数ショットの固有表現認識の目的は、限定されたラベル付きインスタンスを持つ固有表現を識別することです。
これまでの研究では、主に従来のトークンごとの分類フレームワークの最適化に焦点を当てており、NER データ特性に基づく情報の探索は無視されてきました。
この問題に対処するために、我々は、少数ショット NER 用の共同タスク固有事前トレーニング (MSDP) を介したマルチタスク意味分解フレームワークを提案します。
デモンストレーションベースの対比学習からインスピレーションを得て、デモンストレーションベースのマスク言語モデリング (MLM) とクラス対比識別という 2 つの新しい事前トレーニング タスクを導入します。
これらのタスクは、エンティティ境界情報を効果的に組み込み、事前トレーニング言語モデル (PLM) でのエンティティ表現を強化します。
下流のメインタスクでは、意味分解法を使用したマルチタスク共同最適化フレームワークを導入します。これにより、モデルがエンティティ分類のために 2 つの異なる意味情報を統合することが容易になります。
2 つの少数ショット NER ベンチマークの実験結果は、MSDP が一貫して強力なベースラインを大幅に上回っていることを示しています。
広範な分析により、MSDP の有効性と一般化が検証されます。

要約(オリジナル)

The objective of few-shot named entity recognition is to identify named entities with limited labeled instances. Previous works have primarily focused on optimizing the traditional token-wise classification framework, while neglecting the exploration of information based on NER data characteristics. To address this issue, we propose a Multi-Task Semantic Decomposition Framework via Joint Task-specific Pre-training (MSDP) for few-shot NER. Drawing inspiration from demonstration-based and contrastive learning, we introduce two novel pre-training tasks: Demonstration-based Masked Language Modeling (MLM) and Class Contrastive Discrimination. These tasks effectively incorporate entity boundary information and enhance entity representation in Pre-trained Language Models (PLMs). In the downstream main task, we introduce a multi-task joint optimization framework with the semantic decomposing method, which facilitates the model to integrate two different semantic information for entity classification. Experimental results of two few-shot NER benchmarks demonstrate that MSDP consistently outperforms strong baselines by a large margin. Extensive analyses validate the effectiveness and generalization of MSDP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google