Uncertainty Estimation on Sequential Labeling via Uncertainty Transmission

要約

逐次ラベル付けは、固有表現認識 (NER) など、シーケンス内の各トークンのラベルを予測するタスクです。
NER タスクは、エンティティを抽出し、テキストからそのラベルを予測することを目的としています。これは情報抽出において重要です。
これまでの研究では NER のパフォーマンス向上に大きな進歩が見られましたが、NER (UE-NER) の不確実性の推定はまだ研究されていませんが、不可欠です。
この研究は、NER 予測の不確実性スコアを推定することを目的とした UE-NER に焦点を当てています。
以前の不確実性推定モデルは、NER の 2 つの固有の特性、つまりエンティティ間の接続 (つまり、1 つのエンティティの埋め込みが他のエンティティの埋め込みに基づいて学習される) と、エンティティ抽出サブタスクにおける間違ったスパンのケースを見落とすことがよくありました。
したがって、他のトークンから伝達される不確実性を考慮して、抽出されたエンティティの不確実性スコアを推定するための逐次ラベリング事後ネットワーク (SLPN) を提案します。
さらに、間違ったスパンのケースの特異性に対処するための評価戦略を定義しました。
当社の SLPN は、MIT-Restaurant データセットの AUPR が 5.54 ポイント向上するなど、3 つのデータセットで大幅な改善を達成しました。
コードは \url{https://github.com/he159ok/UncSeqLabeling_SLPN} で入手できます。

要約(オリジナル)

Sequential labeling is a task predicting labels for each token in a sequence, such as Named Entity Recognition (NER). NER tasks aim to extract entities and predict their labels given a text, which is important in information extraction. Although previous works have shown great progress in improving NER performance, uncertainty estimation on NER (UE-NER) is still underexplored but essential. This work focuses on UE-NER, which aims to estimate uncertainty scores for the NER predictions. Previous uncertainty estimation models often overlook two unique characteristics of NER: the connection between entities (i.e., one entity embedding is learned based on the other ones) and wrong span cases in the entity extraction subtask. Therefore, we propose a Sequential Labeling Posterior Network (SLPN) to estimate uncertainty scores for the extracted entities, considering uncertainty transmitted from other tokens. Moreover, we have defined an evaluation strategy to address the specificity of wrong-span cases. Our SLPN has achieved significant improvements on three datasets, such as a 5.54-point improvement in AUPR on the MIT-Restaurant dataset. Our code is available at \url{https://github.com/he159ok/UncSeqLabeling_SLPN}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google