Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion

要約

BERT のような Transformer ベースの事前トレーニング済みモデルは、セマンティック センテンス マッチングで大きな進歩を遂げました。
一方、依存関係の事前知識は、複数の NLP タスクで一般的な利点も示しています。
ただし、依存関係の事前構造を事前トレーニング済みモデルに効率的に統合して、複雑なセマンティック マッチング関係をより適切にモデル化する方法は、まだ解決されていません。
この論文では、\textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}) を提案します。
モデル化し、セマンティック情報と適応的に融合します。
具体的には、\textbf{\emph{(i)}} DAFA は、最初に構造依存パラダイムを提案して、注意の重みを調整するための依存関係マトリックスを構築します。
適応融合モジュールを採用して、取得した依存情報と元のセマンティック信号を統合します。
さらに、DAFA はアテンション計算フローを再構築し、より良い解釈を提供します。
それをBERTに適用することにより、私たちの方法は10の公開データセットで最先端または競争力のあるパフォーマンスを達成し、セマンティックマッチングタスクで依存関係構造を適応的に融合することの利点を示しています。

要約(オリジナル)

Transformer-based pre-trained models like BERT have achieved great progress on Semantic Sentence Matching. Meanwhile, dependency prior knowledge has also shown general benefits in multiple NLP tasks. However, how to efficiently integrate dependency prior structure into pre-trained models to better model complex semantic matching relations is still unsettled. In this paper, we propose the \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}), which explicitly introduces dependency structure into pre-trained models and adaptively fuses it with semantic information. Specifically, \textbf{\emph{(i)}} DAFA first proposes a structure-sensitive paradigm to construct a dependency matrix for calibrating attention weights. It adopts an adaptive fusion module to integrate the obtained dependency information and the original semantic signals. Moreover, DAFA reconstructs the attention calculation flow and provides better interpretability. By applying it on BERT, our method achieves state-of-the-art or competitive performance on 10 public datasets, demonstrating the benefits of adaptively fusing dependency structure in semantic matching task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google