Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion

要約

BERT のようなトランスフォーマーベースの事前トレーニング済みモデルは、セマンティック センテンス マッチングにおいて大きな進歩を遂げました。
一方、依存関係の事前知識は、複数の NLP タスクにおいて一般的な利点も示しています。
ただし、依存関係の事前構造を事前トレーニング済みモデルに効率的に統合して、複雑な意味一致関係をより適切にモデル化する方法はまだ未解決です。
この論文では、事前学習済みオブジェクトに依存関係構造を明示的に導入する \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}) を提案します。
モデルを作成し、それを意味情報と適応的に融合します。
具体的には、\textbf{\emph{(i)}} DAFA はまず、注意の重みを調整するための依存関係行列を構築するための構造依存パラダイムを提案します。
適応融合モジュールを採用し、取得した依存関係情報と元の意味信号を統合します。
さらに、DAFA はアテンション計算フローを再構築し、より良い解釈可能性を提供します。
BERT に適用することにより、私たちの方法は 10 の公開データセットで最先端または競争力のあるパフォーマンスを達成し、セマンティック マッチング タスクにおける依存構造を適応的に融合する利点を実証します。

要約(オリジナル)

Transformer-based pre-trained models like BERT have achieved great progress on Semantic Sentence Matching. Meanwhile, dependency prior knowledge has also shown general benefits in multiple NLP tasks. However, how to efficiently integrate dependency prior structure into pre-trained models to better model complex semantic matching relations is still unsettled. In this paper, we propose the \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}), which explicitly introduces dependency structure into pre-trained models and adaptively fuses it with semantic information. Specifically, \textbf{\emph{(i)}} DAFA first proposes a structure-sensitive paradigm to construct a dependency matrix for calibrating attention weights. It adopts an adaptive fusion module to integrate the obtained dependency information and the original semantic signals. Moreover, DAFA reconstructs the attention calculation flow and provides better interpretability. By applying it on BERT, our method achieves state-of-the-art or competitive performance on 10 public datasets, demonstrating the benefits of adaptively fusing dependency structure in semantic matching task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google