Supplementary Features of BiLSTM for Enhanced Sequence Labeling

要約

シーケンスのラベル付けタスクでは、特定の文内の各単語の文表現を計算する必要があります。
高度な事前トレーニング済み言語モデルの台頭により、
一般的なアプローチの 1 つは、出力レベルでシーケンス構造情報を強化するために BiLSTM 層を組み込むことです。
それにもかかわらず、完全な文表現を形成するために過去および将来の文表現からの断片を統合することが主な理由で、シーケンス ラベリング タスク用の文表現を生成する BiLSTM の可能性が制限されていることが経験的に証明されています (P.-H. Li、2020)。
。
この研究では、BiLSTM の最初と最後のセルの両方にある文表現全体が各セルの文表現を補完できることを観察しました。
したがって、我々は、BiLSTM 内の各セルの文表現に未来および過去の文表現全体を統合するグローバル コンテキスト メカニズムを考案し、F1 スコアと精度の両方の大幅な向上につながりました。
デモンストレーションとして BiLSTM 内に BERT モデルを埋め込み、固有表現認識 (NER)、品詞 (POS) タグ付け、エンドツーエンドのアスペクトベースのセンチメント分析などのシーケンス ラベリング タスクの 9 つのデータセットで徹底的な実験を実施します (
E2E-ABSA)。
調査したすべてのデータセットにわたって、F1 スコアと精度が大幅に向上したことがわかりました。

要約(オリジナル)

Sequence labeling tasks require the computation of sentence representations for each word within a given sentence. With the rise of advanced pretrained language models; one common approach involves incorporating a BiLSTM layer to enhance the sequence structure information at the output level. Nevertheless, it has been empirically demonstrated (P.-H. Li, 2020) that BiLSTM’s potential for generating sentence representations for sequence labeling tasks is constrained, primarily due to the integration of fragments from past and future sentence representations to form a complete sentence representation. In this study, we observed that the entire sentence representation, found in both the first and last cells of BiLSTM, can supplement each cell’s sentence representation. Accordingly, we devised a global context mechanism to integrate entire future and past sentence representations into each cell’s sentence representation within BiLSTM, leading to a significant improvement in both F1 score and accuracy. By embedding the BERT model within BiLSTM as a demonstration, and conducting exhaustive experiments on nine datasets for sequence labeling tasks, including named entity recognition (NER), part of speech (POS) tagging and End-to-End Aspect-Based sentiment analysis (E2E-ABSA). We noted significant improvements in F1 scores and accuracy across all examined datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google