NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data

要約

大規模言語モデル (LLM) はデータ アノテーションにおいて優れた能力を示しており、古典的な NLP 問題を解決するための新しいアプローチへの道を開きます。
このペーパーでは、LLM を使用して、固有表現認識 (NER) タスクに特化したコンパクトな言語表現モデルである NuNER を作成する方法を示します。
NuNER は、データ効率の高い方法で下流の NER 問題を解決するために微調整でき、少数ショット領域では同様のサイズの基礎モデルを上回り、はるかに大規模な LLM と競合します。
事前トレーニング データセットのサイズとエンティティ タイプの多様性が、良好なパフォーマンスを達成するための鍵であることがわかりました。
私たちは、NuNER を、最近 LLM によってロック解除された、タスク固有の基盤モデルのより広範なファミリーのメンバーとして見ています。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive abilities in data annotation, opening the way for new approaches to solve classic NLP problems. In this paper, we show how to use LLMs to create NuNER, a compact language representation model specialized in the Named Entity Recognition (NER) task. NuNER can be fine-tuned to solve downstream NER problems in a data-efficient way, outperforming similar-sized foundation models in the few-shot regime and competing with much larger LLMs. We find that the size and entity-type diversity of the pre-training dataset are key to achieving good performance. We view NuNER as a member of the broader family of task-specific foundation models, recently unlocked by LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google