Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings

要約

言語は動的な存在であり、単語に関連付けられた意味は時間とともに常に変化します。
単語の意味上の変化を検出することは、時間に敏感な予測を行う必要があるさまざまな NLP アプリケーションにとって重要なタスクです。
意味変動予測に関する既存の研究は、主に、特定のコーパスから計算されたターゲット単語の平均化された文脈化された表現の何らかの形式を比較することに焦点を当ててきました。
ただし、ターゲット単語の以前に関連付けられていた意味の一部は時間の経過とともに時代遅れになる可能性があります (例: ゲイの幸せという意味) 一方で、既存の単語の新しい使用法が観察されます (例: 携帯電話としてのセルの意味)。
私たちは、平均表現だけではそのような意味論的な変動を正確に捉えることはできないと主張し、ターゲット単語の文脈化された埋め込みのコホート全体（兄弟分布と呼ぶ）を使用する方法を提案します。
セマンティックバリエーション予測のための SemEval-2020 タスク 1 ベンチマーク データセットの実験結果は、私たちの方法が平均埋め込みのみを考慮する以前の研究よりも優れており、現在の最先端技術に匹敵することを示しています。
さらに、定性分析により、私たちの方法は、既存の方法では捕捉されない単語の重要な意味上の変化を検出することが示されています。
ソースコードは https://github.com/a1da4/svp-gauss で入手できます。

要約(オリジナル)

Languages are dynamic entities, where the meanings associated with words constantly change with time. Detecting the semantic variation of words is an important task for various NLP applications that must make time-sensitive predictions. Existing work on semantic variation prediction have predominantly focused on comparing some form of an averaged contextualised representation of a target word computed from a given corpus. However, some of the previously associated meanings of a target word can become obsolete over time (e.g. meaning of gay as happy), while novel usages of existing words are observed (e.g. meaning of cell as a mobile phone). We argue that mean representations alone cannot accurately capture such semantic variations and propose a method that uses the entire cohort of the contextualised embeddings of the target word, which we refer to as the sibling distribution. Experimental results on SemEval-2020 Task 1 benchmark dataset for semantic variation prediction show that our method outperforms prior work that consider only the mean embeddings, and is comparable to the current state-of-the-art. Moreover, a qualitative analysis shows that our method detects important semantic changes in words that are not captured by the existing methods. Source code is available at https://github.com/a1da4/svp-gauss .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google