GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models

要約

大規模言語モデル (LLM) は、多くの自然言語処理タスクにおいて従来の手法に取って代わりました。
それにもかかわらず、固有表現認識 (NER) では、既存の LLM ベースの手法はベースラインに比べてパフォーマンスが低く、大幅に多くの計算リソースを必要とするため、その応用が制限されています。
この論文では、LLM の事前知識と NER タスクに対する自己注意メカニズムを活用するように設計された、世代ベースの抽出およびコンテキスト内分類 (GEIC) のタスクを紹介します。
次に、少数ショットおよびゼロショット NER のための普遍的で多言語の GEIC フレームワークである CascadeNER を提案します。
CascadeNER はモデル カスケードを採用し、2 つの小さなパラメーター LLM を利用して独立して抽出および分類し、精度を向上させながらリソース消費を削減します。
また、8 つの言語、155 のエンティティ タイプ、新しい動的分類システムを含む、LLM 向けに特別に設計された初の NER データセットである AnythingNER も紹介します。
実験によれば、CascadeNER は、CrossNER や FewNERD など、低リソースのきめ細かいシナリオで最先端のパフォーマンスを達成します。
私たちの仕事はオープンにアクセスできます。

要約(オリジナル)

Large Language Models (LLMs) have supplanted traditional methods in numerous natural language processing tasks. Nonetheless, in Named Entity Recognition (NER), existing LLM-based methods underperform compared to baselines and require significantly more computational resources, limiting their application. In this paper, we introduce the task of generation-based extraction and in-context classification (GEIC), designed to leverage LLMs’ prior knowledge and self-attention mechanisms for NER tasks. We then propose CascadeNER, a universal and multilingual GEIC framework for few-shot and zero-shot NER. CascadeNER employs model cascading to utilize two small-parameter LLMs to extract and classify independently, reducing resource consumption while enhancing accuracy. We also introduce AnythingNER, the first NER dataset specifically designed for LLMs, including 8 languages, 155 entity types and a novel dynamic categorization system. Experiments show that CascadeNER achieves state-of-the-art performance on low-resource and fine-grained scenarios, including CrossNER and FewNERD. Our work is openly accessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google