The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning

要約

タイトル：対照学習を用いた知識強化型短いテキストマッチングモデル

要約：
– 短いテキストマッチングタスクは、広告検索やレコメンデーションなどの分野で広く適用されている。しかし、短い長さが原因で、意味情報の欠如や単語の曖昧性が問題になる。
– 既存の手法では、補完的な文や知識ベースを導入して、追加の特徴情報を提供することが試みられてきた。しかし、これらの手法は元の文と補完的な文の間の完全な相互作用を考慮しておらず、外部知識ベースの導入から生じるノイズの問題も解決できていない。
– そこで、本論文では、対照学習と外部知識を組み合わせた短いテキストマッチングモデルを提案する。このモデルは、生成モデルを用いて対応する補完的な文を生成し、対照学習方法を用いて元の文のより意味的なエンコードを得るようにモデルをガイドする。また、ノイズを回避するために、元の文の主要な意味であるキーワードを用いて、知識ベース内の対応する知識語を検索し、知識グラフを構築する。グラフエンコードモデルを用いて知識ベース情報をモデルに統合する。
– 当該モデルは、2つの公開された中国語テキストマッチングデータセットで最先端の性能を発揮し、モデルの有効性を実証している。

要約(オリジナル)

In recent years, short Text Matching tasks have been widely applied in the fields ofadvertising search and recommendation. The difficulty lies in the lack of semantic information and word ambiguity caused by the short length of the text. Previous works have introduced complement sentences or knowledge bases to provide additional feature information. However, these methods have not fully interacted between the original sentence and the complement sentence, and have not considered the noise issue that may arise from the introduction of external knowledge bases. Therefore, this paper proposes a short Text Matching model that combines contrastive learning and external knowledge. The model uses a generative model to generate corresponding complement sentences and uses the contrastive learning method to guide the model to obtain more semantically meaningful encoding of the original sentence. In addition, to avoid noise, we use keywords as the main semantics of the original sentence to retrieve corresponding knowledge words in the knowledge base, and construct a knowledge graph. The graph encoding model is used to integrate the knowledge base information into the model. Our designed model achieves state-of-the-art performance on two publicly available Chinese Text Matching datasets, demonstrating the effectiveness of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI