LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty

要約

固有表現認識 (NER) は、自然言語理解における基本的なタスクとして機能し、Web コンテンツ分析、検索エンジン、および情報検索システムに直接的な影響を及ぼします。
微調整された NER モデルは、標準の NER ベンチマークで満足のいくパフォーマンスを示します。
ただし、微調整データが限られており、知識が不足しているため、目に見えないエンティティの認識ではパフォーマンスが低下します。
その結果、Web 関連アプリケーションにおける NER モデルの使いやすさと信頼性が損なわれます。
代わりに、GPT-4 のような大規模言語モデル (LLM) は広範な外部知識を備えていますが、研究によると、NER タスクに対する専門性が欠けていることが示されています。
さらに、非公開かつ大規模な重みにより、LLM のチューニングが困難になります。
これらの課題に対処するために、小規模な微調整モデルと LLM (LinkNER) を組み合わせたフレームワークと、微調整モデルがブラックボックス LLM を補完し、より優れたパフォーマンスを実現できる RDC と呼ばれる不確実性ベースのリンク戦略を提案します。
私たちは、標準的な NER テスト セットとノイズの多いソーシャル メディア データセットの両方を実験します。
LinkNER は NER タスクのパフォーマンスを強化し、特に堅牢性テストで SOTA モデルを上回ります。
また、不確実性推定手法、LLM、コンテキスト内学習などの主要コンポーネントがさまざまな NER タスクに及ぼす影響を定量的に分析し、Web 関連の具体的な推奨事項を提供します。

要約(オリジナル)

Named Entity Recognition (NER) serves as a fundamental task in natural language understanding, bearing direct implications for web content analysis, search engines, and information retrieval systems. Fine-tuned NER models exhibit satisfactory performance on standard NER benchmarks. However, due to limited fine-tuning data and lack of knowledge, it performs poorly on unseen entity recognition. As a result, the usability and reliability of NER models in web-related applications are compromised. Instead, Large Language Models (LLMs) like GPT-4 possess extensive external knowledge, but research indicates that they lack specialty for NER tasks. Furthermore, non-public and large-scale weights make tuning LLMs difficult. To address these challenges, we propose a framework that combines small fine-tuned models with LLMs (LinkNER) and an uncertainty-based linking strategy called RDC that enables fine-tuned models to complement black-box LLMs, achieving better performance. We experiment with both standard NER test sets and noisy social media datasets. LinkNER enhances NER task performance, notably surpassing SOTA models in robustness tests. We also quantitatively analyze the influence of key components like uncertainty estimation methods, LLMs, and in-context learning on diverse NER tasks, offering specific web-related recommendations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google