Improving word mover’s distance by leveraging self-attention matrix

要約

2 つの文間の意味上の類似性を測定することは依然として重要な作業です。
単語移動距離 (WMD) は、単語埋め込みのセット間の最適な位置合わせを介して類似性を計算します。
ただし、WMD は語順を利用しないため、たとえ意味的に大きく異なっていても、類似した単語が大幅に重複している文を区別することが困難になります。
ここでは、BERT の Self-Attention Matrix (SAM) で表される文構造を組み込むことにより、WMD の改善を試みます。
提案された方法は、融合グロモフ-ワッサーシュタイン距離に基づいており、単語の埋め込みとSAMの類似性を同時に考慮して、2つの文間の最適なトランスポートを計算します。
実験では、提案された方法が、意味論的なテキストの類似性においてほぼ同等のパフォーマンスで言い換え識別における WMD とそのバリアントを強化することを示しています。
コードは \url{https://github.com/ymgw55/WSMD} で入手できます。

要約(オリジナル)

Measuring the semantic similarity between two sentences is still an important task. The word mover’s distance (WMD) computes the similarity via the optimal alignment between the sets of word embeddings. However, WMD does not utilize word order, making it challenging to distinguish sentences with significant overlaps of similar words, even if they are semantically very different. Here, we attempt to improve WMD by incorporating the sentence structure represented by BERT’s self-attention matrix (SAM). The proposed method is based on the Fused Gromov-Wasserstein distance, which simultaneously considers the similarity of the word embedding and the SAM for calculating the optimal transport between two sentences. Experiments demonstrate the proposed method enhances WMD and its variants in paraphrase identification with near-equivalent performance in semantic textual similarity. Our code is available at \url{https://github.com/ymgw55/WSMD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google