Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model

要約

BERT ベースのモデルは、最近、中国語のスペル チェック (CSC) タスクにおいて顕著な能力を示しています。
ただし、従来の BERT ベースの方法には依然として 2 つの制限があります。
まず、これまでの研究では、品詞 (POS) タグ付けなどの明示的な事前知識が CSC タスクに役立つことを確認していましたが、CSC データに固有のスペルミスが誤ったタグにつながり、それによってモデルを誤解させる可能性があるという事実を無視していました。
さらに、彼らは、BERT の中間層によってエンコードされた暗黙の階層情報とさまざまな言語現象との間の相関関係を無視しました。
これにより、精度が最適以下になります。
上記の 2 つの問題を軽減するために、BERT ベースの CSC モデルを強化するための異種知識を注入したフレームワークを設計します。
明示的な POS 知識を組み込むために、ガウス混合モデルによって駆動される補助タスク戦略を利用します。
一方、暗黙的な階層的言語知識をエンコーダ内に組み込むために、多層表現を生成するための新しい形式の n グラムベースの層別セルフアテンションを提案します。
実験結果は、私たちが提案したフレームワークが 4 つの強力なベースライン モデルを超えて安定したパフォーマンス向上をもたらし、2 つのデータセットで以前の最先端の手法を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

BERT-based models have shown a remarkable ability in the Chinese Spelling Check (CSC) task recently. However, traditional BERT-based methods still suffer from two limitations. First, although previous works have identified that explicit prior knowledge like Part-Of-Speech (POS) tagging can benefit in the CSC task, they neglected the fact that spelling errors inherent in CSC data can lead to incorrect tags and therefore mislead models. Additionally, they ignored the correlation between the implicit hierarchical information encoded by BERT’s intermediate layers and different linguistic phenomena. This results in sub-optimal accuracy. To alleviate the above two issues, we design a heterogeneous knowledge-infused framework to strengthen BERT-based CSC models. To incorporate explicit POS knowledge, we utilize an auxiliary task strategy driven by Gaussian mixture model. Meanwhile, to incorporate implicit hierarchical linguistic knowledge within the encoder, we propose a novel form of n-gram-based layerwise self-attention to generate a multilayer representation. Experimental results show that our proposed framework yields a stable performance boost over four strong baseline models and outperforms the previous state-of-the-art methods on two datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google