A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching

要約

文の意味一致は、自然言語処理における研究のホットスポットであり、コミュニティの質問応答、検索、チャットボット、レコメンデーションなどのさまざまな主要なシナリオにおいて非常に重要です。
高度なモデルのほとんどは、\textit{keywords} と \textit{intents} の概念を無視して、2 つの文間の単語間の意味的関連性を直接モデル化するため、DC-Match は、キーワードを意図から解きほぐし、それらを利用してキーワードを最適化するために提案されています。
マッチングパフォーマンス。
DC-Match は、意味的マッチングのためのシンプルかつ効果的な方法ですが、文のキーワードを識別する外部 NER 技術に大きく依存しており、満足のいく NER ツールを入手するのが通常難しいため、マイナー言語の意味的マッチングのパフォーマンスが制限されます。
この論文では、モデルを NER モデルへの依存から解放するために、多言語意味論的マッチングのためにテキストを一般的かつ柔軟に複数の概念に解決することを提案します。
この目的を達成するために、事前にトレーニングされた言語モデルに基づいた \underline{M}究極の \underline{C}oncept \underline{P}arsed \underline{S}emantic \underline{M}atching フレームワークを考案しました。
\textbf{MCP-SM}、さまざまな概念を抽出し、それらを分類トークンに注入します。
英語のデータセット QQP と MRPC、および中国語のデータセット Medical-SM について包括的な実験を行っています。
さらに、アラビア語データセット MQ2Q および XNLI で実験を行い、優れたパフォーマンスにより、低リソース言語での MCP-SM の適用可能性がさらに証明されました。

要約(オリジナル)

Sentence semantic matching is a research hotspot in natural language processing, which is considerably significant in various key scenarios, such as community question answering, searching, chatbot, and recommendation. Since most of the advanced models directly model the semantic relevance among words between two sentences while neglecting the \textit{keywords} and \textit{intents} concepts of them, DC-Match is proposed to disentangle keywords from intents and utilizes them to optimize the matching performance. Although DC-Match is a simple yet effective method for semantic matching, it highly depends on the external NER techniques to identify the keywords of sentences, which limits the performance of semantic matching for minor languages since satisfactory NER tools are usually hard to obtain. In this paper, we propose to generally and flexibly resolve the text into multi concepts for multilingual semantic matching to liberate the model from the reliance on NER models. To this end, we devise a \underline{M}ulti-\underline{C}oncept \underline{P}arsed \underline{S}emantic \underline{M}atching framework based on the pre-trained language models, abbreviated as \textbf{MCP-SM}, to extract various concepts and infuse them into the classification tokens. We conduct comprehensive experiments on English datasets QQP and MRPC, and Chinese dataset Medical-SM. Besides, we experiment on Arabic datasets MQ2Q and XNLI, the outstanding performance further prove MCP-SM’s applicability in low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google