Deep Span Representations for Named Entity Recognition

要約

タイトル：ネームエンティティ認識のためのディープスパン表現
要約：
-「スパンベースモデル」（スパンと呼ばれる値の範囲）は、ネームエンティティ認識の最も簡単な手法の一つである。
– しかし、既存のスパンベースNERシステムはトークン表現を浅く集計するため、長いスパン実体に対して有効でない、重複するスパンの表現に耦合が発生し、最終的にパフォーマンス低下が発生することがよくある。
– 本研究では、標準のTransformerとスパンTransformerから構成される「DSpERT（Deep Span Encoder Representations from Transformers）」を提案し、低層のスパン表現をクエリとして使用し、トークン表現をキーと値としてレイヤーごとに集約するために作成されたディープスパン表現を提供する。
– プレトレーニングされた言語モデルからの重み初期化を使用して、DSpERTは、8つのNERベンチマークで最近の最先端システムと比較して高いパフォーマンスを発揮する。
– 実験結果は、スパン表現の深層性の重要性を確認し、DSpERTが特に長いスパン実体とネスト構造に対してよく機能することを示している。
– さらに、ディープスパン表現は、特徴空間でよく構造化され、簡単に分離できることが分かった。

要約(オリジナル)

Span-based models are one of the most straightforward methods for named entity recognition (NER). Existing span-based NER systems shallowly aggregate the token representations to span representations. However, this typically results in significant ineffectiveness for long-span entities, a coupling between the representations of overlapping spans, and ultimately a performance degradation. In this study, we propose DSpERT (Deep Span Encoder Representations from Transformers), which comprises a standard Transformer and a span Transformer. The latter uses low-layered span representations as queries, and aggregates the token representations as keys and values, layer by layer from bottom to top. Thus, DSpERT produces span representations of deep semantics. With weight initialization from pretrained language models, DSpERT achieves performance higher than or competitive with recent state-of-the-art systems on eight NER benchmarks. Experimental results verify the importance of the depth for span representations, and show that DSpERT performs particularly well on long-span entities and nested structures. Further, the deep span representations are well structured and easily separable in the feature space.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI