DABERT: Dual Attention Enhanced BERT for Semantic Matching

要約

BERT などの Transformer ベースの事前トレーニング済み言語モデルは、セマンティック センテンス マッチングで目覚ましい成果を上げています。
ただし、既存のモデルでは、微妙な違いを捉える能力が依然として不十分です。
単語の追加、削除、文章の変更などの小さなノイズにより、予測が反転する場合があります。
この問題を軽減するために、新しい Dual Attention Enhanced BERT (DABERT) を提案して、BERT が文のペアの細かい違いを捉える能力を強化します。
DABERT は、(1) デュアル アテンション モジュールを備えています。これは、新しいデュアル チャネル アラインメント メカニズムを導入して、アフィニティと差分アテンションをモデル化することにより、ソフト ワード マッチを測定します。
(2) アダプティブ フュージョン モジュール。このモジュールは注意を使用して相違点と類似性の特徴の集合を学習し、文のペアの一致の詳細を記述するベクトルを生成します。
十分に研究されたセマンティックマッチングとロバストネステストデータセットに対して広範な実験を行い、実験結果は提案された方法の有効性を示しています。

要約(オリジナル)

Transformer-based pre-trained language models such as BERT have achieved remarkable results in Semantic Sentence Matching. However, existing models still suffer from insufficient ability to capture subtle differences. Minor noise like word addition, deletion, and modification of sentences may cause flipped predictions. To alleviate this problem, we propose a novel Dual Attention Enhanced BERT (DABERT) to enhance the ability of BERT to capture fine-grained differences in sentence pairs. DABERT comprises (1) Dual Attention module, which measures soft word matches by introducing a new dual channel alignment mechanism to model affinity and difference attention. (2) Adaptive Fusion module, this module uses attention to learn the aggregation of difference and affinity features, and generates a vector describing the matching details of sentence pairs. We conduct extensive experiments on well-studied semantic matching and robustness test datasets, and the experimental results show the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google