Dual Path Modeling for Semantic Matching by Perceiving Subtle Conflicts

要約

Transformer ベースの事前トレーニング済みモデルにより、セマンティック マッチングが大幅に改善されました。
ただし、既存のモデルでは、微妙な違いを捉える能力が依然として不十分です。
文対内の単語の変更、追加、および削除により、モデルがそれらの関係を予測することが難しくなる場合があります。
この問題を軽減するために、アフィニティーと違いのセマンティクスを別々にモデル化することにより、文のペアの微妙な違いを認識するモデルの能力を強化する、新しいデュアル パス モデリング フレームワークを提案します。
デュアル パス モデリング フレームワークに基づいて、意味関係を認識するデュアル パス モデリング ネットワーク (DPM-Net) を設計します。
また、10 の十分に研究されたセマンティック マッチングとロバスト性テスト データセットに対して広範な実験を行い、実験結果は、提案された方法がベースラインに対して一貫した改善を達成することを示しています。

要約(オリジナル)

Transformer-based pre-trained models have achieved great improvements in semantic matching. However, existing models still suffer from insufficient ability to capture subtle differences. The modification, addition and deletion of words in sentence pairs may make it difficult for the model to predict their relationship. To alleviate this problem, we propose a novel Dual Path Modeling Framework to enhance the model’s ability to perceive subtle differences in sentence pairs by separately modeling affinity and difference semantics. Based on dual-path modeling framework we design the Dual Path Modeling Network (DPM-Net) to recognize semantic relations. And we conduct extensive experiments on 10 well-studied semantic matching and robustness test datasets, and the experimental results show that our proposed method achieves consistent improvements over baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google