Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification

要約

フューショット固有表現認識 (NER) は、既存の知識を利用して、低リソース領域で新規の固有表現を認識することを目的としています。
しかし、現在の少数ショット NER モデルは、ラベル付けされたデータがすべてノイズや外れ値がなくクリーンであると仮定しており、少数ショット NER のテキスト敵対的攻撃に対するクロスドメイン転送学習能力の堅牢性に焦点を当てた研究はほとんどありません。
この研究では、テキストの敵対的攻撃シナリオの下で少数ショット NER モデルの堅牢性を包括的に調査および評価し、既存の少数ショット NER モデルの脆弱性を発見しました。
さらに、境界識別および相関精製 (BDCP) を備えた堅牢な 2 段階の少数ショット NER 法を提案します。
具体的には、スパン検出段階では、エンティティ境界識別モジュールが導入され、エンティティ スパンを検出するための高度に区別可能な境界表現空間が提供されます。
エンティティのタイピング段階では、干渉情報を最小限に抑え、相関関係の一般化を促進して、テキストの敵対的攻撃によって引き起こされる混乱を軽減することで、エンティティとコンテキストの間の相関関係が純化されます。
さらに、公開データセット Few-NERD および Cross-Dataset に基づいて、少数ショット NER の敵対的な例を構築します。
敵対的な例を含むこれら 2 つの少数ショット NER データセットのグループに対する包括的な評価により、提案された方法の堅牢性と優位性が実証されました。

要約(オリジナル)

Few-shot named entity recognition (NER) aims to recognize novel named entities in low-resource domains utilizing existing knowledge. However, the present few-shot NER models assume that the labeled data are all clean without noise or outliers, and there are few works focusing on the robustness of the cross-domain transfer learning ability to textual adversarial attacks in Few-shot NER. In this work, we comprehensively explore and assess the robustness of few-shot NER models under textual adversarial attack scenario, and found the vulnerability of existing few-shot NER models. Furthermore, we propose a robust two-stage few-shot NER method with Boundary Discrimination and Correlation Purification (BDCP). Specifically, in the span detection stage, the entity boundary discriminative module is introduced to provide a highly distinguishing boundary representation space to detect entity spans. In the entity typing stage, the correlations between entities and contexts are purified by minimizing the interference information and facilitating correlation generalization to alleviate the perturbations caused by textual adversarial attacks. In addition, we construct adversarial examples for few-shot NER based on public datasets Few-NERD and Cross-Dataset. Comprehensive evaluations on those two groups of few-shot NER datasets containing adversarial examples demonstrate the robustness and superiority of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google