LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking

要約

LLM を自然言語処理に使用することは、コンテキストの理解と学習における LLM の恐るべき能力に牽引されて、過去 2 年間で一般的なトレンドとなり、学者や業界の専門家からの研究の波を刺激しました。
ただし、NER などの特定の NLP タスクでは、教師あり学習方法と比較した場合、LLM のパフォーマンスは依然として不十分です。
私たちの研究では、革新的なコンテキスト化エンティティ マーキング生成メソッドを組み込んだ LTNER と呼ばれる NER 処理フレームワークを開発しました。
追加のトレーニングを必要としないコンテキスト学習とコスト効率の高い GPT-3.5 を組み合わせて活用することで、NER タスクの処理における LLM の精度が大幅に向上しました。
CoNLL03 データセットの F1 スコアは、初期の 85.9% から 91.9% に増加し、教師付き微調整のパフォーマンスに近づきました。
この結果により、LLM の可能性に対する理解が深まりました。

要約(オリジナル)

The use of LLMs for natural language processing has become a popular trend in the past two years, driven by their formidable capacity for context comprehension and learning, which has inspired a wave of research from academics and industry professionals. However, for certain NLP tasks, such as NER, the performance of LLMs still falls short when compared to supervised learning methods. In our research, we developed a NER processing framework called LTNER that incorporates a revolutionary Contextualized Entity Marking Gen Method. By leveraging the cost-effective GPT-3.5 coupled with context learning that does not require additional training, we significantly improved the accuracy of LLMs in handling NER tasks. The F1 score on the CoNLL03 dataset increased from the initial 85.9% to 91.9%, approaching the performance of supervised fine-tuning. This outcome has led to a deeper understanding of the potential of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google