DABERT: Dual Attention Enhanced BERT for Semantic Matching

要約

タイトル：DABERT：文脈的マッチングのためのデュアルアテンション強化BERT

要約：
– BERTのようなTransformerベースの事前学習言語モデルは、文脈的文章マッチングにおいて優れた結果を出しており、注目されている。
– しかし、既存のモデルには微妙な差異を捉える能力が不十分なため、文の追加、削除、修正のような些細なノイズが正誤を逆転させることがある。
– この問題を解決するために、新しいデュアルアテンション強化BERT（DABERT）を提案する。
– DABERTは、(1)デュアルアテンションモジュールと、（2）適応型フュージョンモジュールで構成される。
– デュアルアテンションモジュールは、親和性と差異の注意をモデル化するために、新しいデュアルチャネルアラインメントメカニズムを導入したソフトな単語マッチを測定する。
– 適応型フュージョンモジュールでは、注意を使用して、差異および親和性特徴の集約を学習し、文のペアのマッチングの詳細を説明するベクトルを生成する。
– 広範な実験を行った結果、提案手法の効果が示された。「well-studied semantic matching and robustness test datasets」とあるが、この部分の意味不明。

要約(オリジナル)

Transformer-based pre-trained language models such as BERT have achieved remarkable results in Semantic Sentence Matching. However, existing models still suffer from insufficient ability to capture subtle differences. Minor noise like word addition, deletion, and modification of sentences may cause flipped predictions. To alleviate this problem, we propose a novel Dual Attention Enhanced BERT (DABERT) to enhance the ability of BERT to capture fine-grained differences in sentence pairs. DABERT comprises (1) Dual Attention module, which measures soft word matches by introducing a new dual channel alignment mechanism to model affinity and difference attention. (2) Adaptive Fusion module, this module uses attention to learn the aggregation of difference and affinity features, and generates a vector describing the matching details of sentence pairs. We conduct extensive experiments on well-studied semantic matching and robustness test datasets, and the experimental results show the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI