Semantic Specialization for Knowledge-based Word Sense Disambiguation

要約

タイトル：Semantic Specialization for Knowledge-based Word Sense Disambiguation（言語学的知識に基づく単語の意味の曖昧さ解消のための意味的特殊化）

要約：

– 単語の意味の曖昧さ解消(WSD)に有望なアプローチの1つは、文脈化埋め込みの類似性に基づいて、文中の目標単語に対して最も近い定義文の文脈化埋め込みを持つ意味を選択することです。
– このアプローチは、事前に学習された言語モデルによって計算された埋め込みの意味と文脈の類似性に依存しています。
– 私たちは、単に語彙的知識を使用して文脈化埋め込みをWSDタスクに適応する意味的特殊化の手法を提案しています。
– ある意味について、関連する意味と文脈を近くにし、異なる/関係のない意味を遠くに移動することで、このアイデアを実現します。
– 提案手法は、Attract-Repel目的関数の意味対と、自己トレーニング目的関数の文脈-意味対の共同最適化を行い、差異を制御しながら元の埋め込みからの逸脱を最小化することで実現しています。
– 提案手法は、文脈化埋め込みの適応を行った以前の研究よりも優れた性能を発揮しました。
– 状態空間ヒューリスティックを使用する再順位付け方法と組み合わせることで、知識に基づくWSDで最高の性能を発揮しました。
– 提案手法の特殊化された埋め込みの類似性の特性がアイデアに適合することを確認しました。
– 関連/異なる/関係のない意味の埋め込みの（非）類似性がWSDの性能とよく相関することを発見しました。

要約(オリジナル)

A promising approach for knowledge-based Word Sense Disambiguation (WSD) is to select the sense whose contextualized embeddings computed for its definition sentence are closest to those computed for a target word in a given sentence. This approach relies on the similarity of the \textit{sense} and \textit{context} embeddings computed by a pre-trained language model. We propose a semantic specialization for WSD where contextualized embeddings are adapted to the WSD task using solely lexical knowledge. The key idea is, for a given sense, to bring semantically related senses and contexts closer and send different/unrelated senses farther away. We realize this idea as the joint optimization of the Attract-Repel objective for sense pairs and the self-training objective for context-sense pairs while controlling deviations from the original embeddings. The proposed method outperformed previous studies that adapt contextualized embeddings. It achieved state-of-the-art performance on knowledge-based WSD when combined with the reranking heuristic that uses the sense inventory. We found that the similarity characteristics of specialized embeddings conform to the key idea. We also found that the (dis)similarity of embeddings between the related/different/unrelated senses correlates well with the performance of WSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI