A Global Context Mechanism for Sequence Labeling

要約

逐次ラベル付けタスクでは、特定の文内の各単語の文表現を計算する必要があります。
高度な事前トレーニング済み言語モデルの出現により、
一般的なアプローチの 1 つは、出力レベルでシーケンス構造情報を強化するために BiLSTM 層を組み込むことです。
それにもかかわらず、シーケンスラベリングタスク用の文表現を生成するBiLSTMの可能性は、主に過去および将来の文表現からの断片の融合により制限されることが経験的に証明されている(P.-H. Li et al., 2020)。
完全な文表現を形成します。
本研究では、BiLSTM の最初のセルと最後のセルに存在する全文表現を ecah セルの文表現に戦略的に統合することで、F1 スコアと精度が大幅に向上する可能性があることを発見しました。
BiLSTM に埋め込まれた BERT を例として使用し、固有表現認識 (NER)、品詞 (POS) のタグ付け、およびエンドツーエンドのアスペクトベースのセンチメント分析 (E2E-ABSA) を含む、シーケンス ラベリング タスクのための 9 つのデータセットに対して徹底的な実験を実施しました。
）。
調査したすべてのデータセットにわたって、F1 スコアと精度が大幅に向上したことがわかりました。

要約(オリジナル)

Sequential labeling tasks necessitate the computation of sentence representations for each word within a given sentence. With the advent of advanced pretrained language models; one common approach involves incorporating a BiLSTM layer to bolster the sequence structure information at the output level. Nevertheless, it has been empirically demonstrated (P.-H. Li et al., 2020) that the potential of BiLSTM for generating sentence representations for sequence labeling tasks is constrained, primarily due to the amalgamation of fragments form past and future sentence representations to form a complete sentence representation. In this study, we discovered that strategically integrating the whole sentence representation, which existing in the first cell and last cell of BiLSTM, into sentence representation of ecah cell, could markedly enhance the F1 score and accuracy. Using BERT embedded within BiLSTM as illustration, we conducted exhaustive experiments on nine datasets for sequence labeling tasks, encompassing named entity recognition (NER), part of speech (POS) tagging and End-to-End Aspect-Based sentiment analysis (E2E-ABSA). We noted significant improvements in F1 scores and accuracy across all examined datasets .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google