Enhancing Few-shot NER with Prompt Ordering based Data Augmentation

要約

最近、データ拡張 (DA) 手法が、少数ショットの固有表現認識 (NER) など、リソースが少ない環境での事前トレーニング済み言語モデル (PLM) に効果的であることが証明されました。
ただし、従来の NER DA 手法は主にシーケンス ラベリング モデル、つまりトークン レベルの分類を目的としており、ネストされた NER などのより広範囲の NER タスクを処理できる統合自己回帰生成フレームワークと互換性のあるものはほとんどありません。
さらに、これらの生成フレームワークには、エンティティがソース シーケンスと同じ左から右の順序でターゲット シーケンスに表示されるという強い仮定があります。
本稿では、この厳密な順序を守る必要はなく、新しい DA 手法として、より多様で合理的なターゲット エンティティ シーケンスをトレーニング段階で提供できると主張します。
それにもかかわらず、1 つのソース配列が異なるターゲット配列とペアになるため、拡張データの単純な混合はモデルを混乱させる可能性があります。
したがって、少数ショット NER シナリオの下で統合自己回帰生成フレームワークのトレーニングを改善する、シンプルだが効果的なプロンプト順序付けベースのデータ拡張 (PODA) 手法を提案します。
3 つの公開 NER データセットに関する実験結果とさらなる分析により、私たちのアプローチの有効性が実証されています。

要約(オリジナル)

Recently, data augmentation (DA) methods have been proven to be effective for pre-trained language models (PLMs) in low-resource settings, including few-shot named entity recognition (NER). However, conventional NER DA methods are mostly aimed at sequence labeling models, i.e., token-level classification, and few are compatible with unified autoregressive generation frameworks, which can handle a wider range of NER tasks, such as nested NER. Furthermore, these generation frameworks have a strong assumption that the entities will appear in the target sequence with the same left-to-right order as the source sequence. In this paper, we claim that there is no need to keep this strict order, and more diversified but reasonable target entity sequences can be provided during the training stage as a novel DA method. Nevertheless, a naive mixture of augmented data can confuse the model since one source sequence will then be paired with different target sequences. Therefore, we propose a simple but effective Prompt Ordering based Data Augmentation (PODA) method to improve the training of unified autoregressive generation frameworks under few-shot NER scenarios. Experimental results on three public NER datasets and further analyses demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google