VerifiNER: Verification-augmented NER via Knowledge-grounded Reasoning with Large Language Models

要約

生物医学 NER など、ドメイン固有の固有表現認識 (NER) における最近のアプローチは、目覚ましい進歩を示しています。
しかし、それらは依然として忠実性に欠けており、誤った予測を生み出します。
私たちは、エンティティの知識が予測の正しさを検証するのに役立つ可能性があると想定しています。
知識の有用性にもかかわらず、知識自体は直接真実のラベルを示していないため、知識を使ってそのようなエラーを解決することは自明ではありません。
この目的を達成するために、我々は、知識を使用して既存の NER 手法のエラーを特定し、それらをより忠実な予測に修正するポストホック検証フレームワークである VerifiNER を提案します。
私たちのフレームワークは、大規模な言語モデルの推論能力を活用して、検証プロセスにおける知識とコンテキスト情報に適切に基づいています。
私たちは、生物医学データセットに関する広範な実験を通じて VerifiNER の有効性を検証します。
この結果は、VerifiNER がモデルに依存しないアプローチとして既存のモデルからのエラーを正常に検証できることを示唆しています。
ドメイン外および低リソース設定に関するさらなる分析により、現実世界のアプリケーションにおける VerifiNER の有用性が示されています。

要約(オリジナル)

Recent approaches in domain-specific named entity recognition (NER), such as biomedical NER, have shown remarkable advances. However, they still lack of faithfulness, producing erroneous predictions. We assume that knowledge of entities can be useful in verifying the correctness of the predictions. Despite the usefulness of knowledge, resolving such errors with knowledge is nontrivial, since the knowledge itself does not directly indicate the ground-truth label. To this end, we propose VerifiNER, a post-hoc verification framework that identifies errors from existing NER methods using knowledge and revises them into more faithful predictions. Our framework leverages the reasoning abilities of large language models to adequately ground on knowledge and the contextual information in the verification process. We validate effectiveness of VerifiNER through extensive experiments on biomedical datasets. The results suggest that VerifiNER can successfully verify errors from existing models as a model-agnostic approach. Further analyses on out-of-domain and low-resource settings show the usefulness of VerifiNER on real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google