PromptNER: Prompting For Named Entity Recognition

要約

驚くべきことに、大規模言語モデル (LLM) は、増大するプロンプトベースのヒューリスティックの武器と併せて、無数の古典的な NLP 問題に対して数回で解決できる強力な既製のアプローチを提供するようになりました。
ただし、初期の有望な結果にもかかわらず、これらの LLM ベースの少数ショット手法は、固有表現認識 (NER) の最先端技術には程遠いものであり、一般的な手法には、エンドツーエンドの構造理解と微調整による表現の学習が含まれています。
標準ラベル付きコーパス。
このペーパーでは、少数ショットおよびクロスドメイン NER 用の新しい最先端アルゴリズムである PromptNER を紹介します。
新しい NER タスクに適応するには、PromptNER には、標準的な少数のショットの例に加えて、一連のエンティティ定義が必要です。
文が与えられると、PromptNER は LLM に対し、提供されたエンティティ タイプ定義との互換性を正当化する対応する説明とともに、潜在的なエンティティのリストを作成するように促します。
注目すべきことに、PromptNER は少数ショット NER で最先端のパフォーマンスを実現し、ConLL データセットで F1 スコアの 4% (絶対) 向上、GENIA データセットで 9% (絶対) の向上、および 4% の向上を達成しています。
FewNERD データセットの (絶対的な) 改善。
PromptNER は、クロス ドメイン NER に関しても最先端の技術を導入し、従来の方法 (少数ショット設定に限定されない方法を含む) を上回り、平均 F1 ゲイン 3% で 3/5 の CrossNER ターゲット ドメインで新たな記録を打ち立てました。
利用可能なデータの 2% 未満しか使用していないにもかかわらず。

要約(オリジナル)

In a surprising turn, Large Language Models (LLMs) together with a growing arsenal of prompt-based heuristics now offer powerful off-the-shelf approaches providing few-shot solutions to myriad classic NLP problems. However, despite promising early results, these LLM-based few-shot methods remain far from the state of the art in Named Entity Recognition (NER), where prevailing methods include learning representations via end-to-end structural understanding and fine-tuning on standard labeled corpora. In this paper, we introduce PromptNER, a new state-of-the-art algorithm for few-Shot and cross-domain NER. To adapt to any new NER task PromptNER requires a set of entity definitions in addition to the standard few-shot examples. Given a sentence, PromptNER prompts an LLM to produce a list of potential entities along with corresponding explanations justifying their compatibility with the provided entity type definitions. Remarkably, PromptNER achieves state-of-the-art performance on few-shot NER, achieving a 4% (absolute) improvement in F1 score on the ConLL dataset, a 9% (absolute) improvement on the GENIA dataset, and a 4% (absolute) improvement on the FewNERD dataset. PromptNER also moves the state of the art on Cross Domain NER, outperforming prior methods (including those not limited to the few-shot setting), setting a new mark on 3/5 CrossNER target domains, with an average F1 gain of 3%, despite using less than 2% of the available data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google