Co-Driven Recognition of Semantic Consistency via the Fusion of Transformer and HowNet Sememes Knowledge

要約

意味的一貫性認識は、2 つのテキスト文の意味が互いに一致しているかどうかを検出して判断することを目的としています。
ただし、既存の方法では通常、同義語、多義性、および長いテキストを理解するのが難しいという課題に直面します。
上記の問題を解決するために、この論文では、Transformer と HowNet のセメム知識の融合に基づく共駆動の意味的一貫性認識方法を提案します。
データ駆動型による内部文構造のマルチレベル エンコーディングは、最初に Transformer によって実行されます。文対間の意味的知識の関連付けをモデル化するために、知識駆動型の知識ベース HowNet が導入されます。
次に、ソフトアテンションを利用して対話型アテンション計算を実行し、セメム行列と知識を融合します。
最後に、双方向長短期記憶ネットワーク (BiLSTM) を利用して、概念的な意味情報をエンコードし、意味の一貫性を推測します。
2 つの金融テキスト マッチング データセット (BQ、AFQMC) と、言い換え識別のためのクロスリンガル敵対的データセット (PAWSX) に対して実験が行われます。
DSSM、MwAN、DRCN、および ERNIE などの事前トレーニング モデルを含む軽量モデルと比較して、提案されたモデルは意味的一貫性認識の精度を効果的に向上させるだけでなく (DSSM と比較して 2.19%、5.57%、および 6.51%)
、BQ データセット上の MWAN および DRCN モデル) だけでなく、モデル パラメーターの数も削減します (約 16M まで)。
さらに、HowNet セミームの知識によって駆動されるため、提案された方法は、長いテキストを含むシナリオに適応することが期待されています。

要約(オリジナル)

Semantic consistency recognition aims to detect and judge whether the semantics of two text sentences are consistent with each other. However, the existing methods usually encounter the challenges of synonyms, polysemy and difficulty to understand long text. To solve the above problems, this paper proposes a co-driven semantic consistency recognition method based on the fusion of Transformer and HowNet sememes knowledge. Multi-level encoding of internal sentence structures via data-driven is carried out firstly by Transformer, sememes knowledge base HowNet is introduced for knowledge-driven to model the semantic knowledge association among sentence pairs. Then, interactive attention calculation is carried out utilizing soft-attention and fusion the knowledge with sememes matrix. Finally, bidirectional long short-term memory network (BiLSTM) is exploited to encode the conceptual semantic information and infer the semantic consistency. Experiments are conducted on two financial text matching datasets (BQ, AFQMC) and a cross-lingual adversarial dataset (PAWSX) for paraphrase identification. Compared with lightweight models including DSSM, MwAN, DRCN, and pre-training models such as ERNIE etc., the proposed model can not only improve the accuracy of semantic consistency recognition effectively (by 2.19%, 5.57% and 6.51% compared with the DSSM, MWAN and DRCN models on the BQ dataset), but also reduce the number of model parameters (to about 16M). In addition, driven by the HowNet sememes knowledge, the proposed method is promising to adapt to scenarios with long text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google