Learning In-context Learning for Named Entity Recognition

要約

実世界のアプリケーションにおける固有表現認識は、エンティティ タイプの多様性、新しいエンティティ タイプの出現、および高品質のアノテーションの欠如によって悩まされています。
上記の問題に対処するために、この論文では、インコンテキスト学習ベースの NER アプローチを提案します。これは、インコンテキスト NER 機能を PLM に効果的に注入し、少数の実証的なインスタンスのみを使用して新しいタイプのエンティティをオンザフライで認識できます。
具体的には、PLM をメタ関数 $\mathcal{ \lambda_ {\text{命令、デモ、テキスト}} としてモデル化します。
M}$ ​​であり、新しいエンティティ エクストラクターは、新しい命令とデモンストレーションを PLM に適用することで暗黙的に構築できます。つまり、 $\mathcal{ (\lambda . M) }$(instruction, Demonstrations) $\to$ $\mathcal{F
}$ ここで、$\mathcal{F}$ は新しいエンティティ エクストラクタ、つまり $\mathcal{F}$: text $\to$ エンティティになります。
上記のコンテキスト内 NER 機能を PLM に注入するために、(命令、デモンストレーション) で初期化されたエクストラクターとサロゲート ゴールデン エクストラクターを比較することによって PLM を事前トレーニングするメタ関数事前トレーニング アルゴリズムを提案します。
4 つの少数ショット NER データセットに関する実験結果は、私たちの方法がコンテキスト内の NER 機能を PLM に効果的に注入でき、PLM + 微調整対応物よりも大幅に優れていることを示しています。

要約(オリジナル)

Named entity recognition in real-world applications suffers from the diversity of entity types, the emergence of new entity types, and the lack of high-quality annotations. To address the above problems, this paper proposes an in-context learning-based NER approach, which can effectively inject in-context NER ability into PLMs and recognize entities of novel types on-the-fly using only a few demonstrative instances. Specifically, we model PLMs as a meta-function $\mathcal{ \lambda_ {\text{instruction, demonstrations, text}}. M}$, and a new entity extractor can be implicitly constructed by applying new instruction and demonstrations to PLMs, i.e., $\mathcal{ (\lambda . M) }$(instruction, demonstrations) $\to$ $\mathcal{F}$ where $\mathcal{F}$ will be a new entity extractor, i.e., $\mathcal{F}$: text $\to$ entities. To inject the above in-context NER ability into PLMs, we propose a meta-function pre-training algorithm, which pre-trains PLMs by comparing the (instruction, demonstration)-initialized extractor with a surrogate golden extractor. Experimental results on 4 few-shot NER datasets show that our method can effectively inject in-context NER ability into PLMs and significantly outperforms the PLMs+fine-tuning counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google