The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning

要約

近年、短いテキスト マッチング タスクが広告検索や推奨の分野で広く適用されています。
問題は、テキストの長さが短いために意味情報が欠如し、単語が曖昧になることです。
これまでの研究では、追加の機能情報を提供するために補足文または知識ベースが導入されていました。
しかし、これらの方法は、元の文と補足文の間の相互作用が完全には行われておらず、外部知識ベースの導入によって生じる可能性のあるノイズの問題を考慮していません。
したがって、この論文では、対照学習と外部知識を組み合わせた短いテキスト マッチング モデルを提案します。
このモデルは、生成モデルを使用して対応する補文を生成し、対照学習法を使用して元の文の意味的により意味のあるエンコードを取得するようにモデルをガイドします。
さらに、ノイズを避けるために、元の文の主な意味論としてキーワードを使用して、知識ベース内の対応する知識単語を検索し、知識グラフを構築します。
グラフ エンコーディング モデルは、ナレッジ ベース情報をモデルに統合するために使用されます。
私たちが設計したモデルは、公開されている 2 つの中国語テキスト マッチング データセットで最先端のパフォーマンスを達成し、モデルの有効性を実証しています。

要約(オリジナル)

In recent years, short Text Matching tasks have been widely applied in the fields ofadvertising search and recommendation. The difficulty lies in the lack of semantic information and word ambiguity caused by the short length of the text. Previous works have introduced complement sentences or knowledge bases to provide additional feature information. However, these methods have not fully interacted between the original sentence and the complement sentence, and have not considered the noise issue that may arise from the introduction of external knowledge bases. Therefore, this paper proposes a short Text Matching model that combines contrastive learning and external knowledge. The model uses a generative model to generate corresponding complement sentences and uses the contrastive learning method to guide the model to obtain more semantically meaningful encoding of the original sentence. In addition, to avoid noise, we use keywords as the main semantics of the original sentence to retrieve corresponding knowledge words in the knowledge base, and construct a knowledge graph. The graph encoding model is used to integrate the knowledge base information into the model. Our designed model achieves state-of-the-art performance on two publicly available Chinese Text Matching datasets, demonstrating the effectiveness of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google