ACLM: A Selective-Denoising based Generative Data Augmentation Approach for Low-Resource Complex NER

要約

複雑な固有表現認識 (NER) は、ローコンテキスト テキスト内の言語的に複雑な固有表現を検出するタスクです。
この論文では、低リソース複雑な NER におけるデータ不足の問題に対処するための、条件付き生成に基づく新しいデータ拡張アプローチである、条件付き言語モデルの微調整のための ACLM アテンション マップを意識したキーワード選択を紹介します。
ACLM は、コンテキストとエンティティの不一致の問題を軽減します。この問題は、既存の NER データ拡張技術が抱えており、複雑な名前付きエンティティを間違ったコンテキストに配置することで一貫性のない拡張を生成することがよくあります。
ACLM は BART に基づいて構築されており、新しいテキスト再構築またはノイズ除去タスクに最適化されています。選択的マスキング (アテンション マップによる支援) を使用して、入力文内の名前付きエンティティと特定のキーワードを保持し、名前付きエンティティに関する文脈上関連する追加の知識やヒントを提供します。
。
他のデータ拡張戦略と比較して、ACLM は、文内の複雑なエンティティの真の語感を維持しながら、より多様で一貫した拡張を生成できます。
私たちは、さまざまな低リソース環境における単言語、クロスリンガル、および多言語の複雑な NER に対する ACLM の有効性を定性的および定量的に実証します。
ACLM は、すべての神経ベースラインを大幅に上回ります (1% ～ 36%)。
さらに、データ不足に悩む他の領域 (生物医学など) への ACLM の適用を実証します。
実際には、ACLM は、これらのドメインに対して従来の方法よりも効果的で事実に基づく補強を生成します。
コード: https://github.com/Sreyan88/ACLM

要約(オリジナル)

Complex Named Entity Recognition (NER) is the task of detecting linguistically complex named entities in low-context text. In this paper, we present ACLM Attention-map aware keyword selection for Conditional Language Model fine-tuning), a novel data augmentation approach based on conditional generation to address the data scarcity problem in low-resource complex NER. ACLM alleviates the context-entity mismatch issue, a problem existing NER data augmentation techniques suffer from and often generates incoherent augmentations by placing complex named entities in the wrong context. ACLM builds on BART and is optimized on a novel text reconstruction or denoising task – we use selective masking (aided by attention maps) to retain the named entities and certain keywords in the input sentence that provide contextually relevant additional knowledge or hints about the named entities. Compared with other data augmentation strategies, ACLM can generate more diverse and coherent augmentations preserving the true word sense of complex entities in the sentence. We demonstrate the effectiveness of ACLM both qualitatively and quantitatively on monolingual, cross-lingual, and multilingual complex NER across various low-resource settings. ACLM outperforms all our neural baselines by a significant margin (1%-36%). In addition, we demonstrate the application of ACLM to other domains that suffer from data scarcity (e.g., biomedical). In practice, ACLM generates more effective and factual augmentations for these domains than prior methods. Code: https://github.com/Sreyan88/ACLM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google