Annotation Errors and NER: A Study with OntoNotes 5.0

要約

固有表現認識 (NER) は、NLP でよく研究されている問題です。
ただし、新しい NER モデルの開発に比べて、NER データセットの研究にはあまり重点が置かれていません。
この論文では、利用可能な英語の NER コーパスの中で最大のものである、英語 NER の OntoNotes 5.0 コーパスの注釈エラーを検出するために 3 つの簡単な手法を採用しました。
私たちの技術は、トレーニング/開発/テスト データ内の文の最大 10% を修正しました。
エンティティの言及に関しては、データセット内の最大 8% の言及の範囲および/またはタイプを修正し、さらにいくつかを追加/削除/分割/結合しました。
OntoNotes の規模を考慮すると、これらは多数の変更です。
3 つの NER ライブラリを使用して、元のデータセットと再アノテーションが付けられたデータセットでトレーニングされたモデルをトレーニング、評価、比較しました。これにより、全体の F スコアで平均 1.23% の改善が示され、一部のデータセットでは大幅 (>10%) の改善が見られました。
エンティティの種類。
私たちのアノテーション エラー検出方法は網羅的ではなく、手動によるアノテーション作業が必要になりますが、これらは主に言語に依存せず、他の NER データセットや他の配列ラベル付けタスクでも使用できます。

要約(オリジナル)

Named Entity Recognition (NER) is a well-studied problem in NLP. However, there is much less focus on studying NER datasets, compared to developing new NER models. In this paper, we employed three simple techniques to detect annotation errors in the OntoNotes 5.0 corpus for English NER, which is the largest available NER corpus for English. Our techniques corrected ~10% of the sentences in train/dev/test data. In terms of entity mentions, we corrected the span and/or type of ~8% of mentions in the dataset, while adding/deleting/splitting/merging a few more. These are large numbers of changes, considering the size of OntoNotes. We used three NER libraries to train, evaluate and compare the models trained with the original and the re-annotated datasets, which showed an average improvement of 1.23% in overall F-scores, with large (>10%) improvements for some of the entity types. While our annotation error detection methods are not exhaustive and there is some manual annotation effort involved, they are largely language agnostic and can be employed with other NER datasets, and other sequence labelling tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google