Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices

要約

言葉の意味や関係性は時間の経過とともに変化します。
この現象はセマンティックシフトと呼ばれます。
意味の変化を詳細に理解するには、複数の期間にわたって意味の変化がどのように発生するかを理解することに重点を置いた研究が不可欠です。
しかし、隣接する期間間の変化点のみを検出するだけでは、詳細な意味の変化を分析するには不十分であり、語義の割合を調べるために BERT ベースの手法を使用すると、高い計算コストが発生します。
これらの問題に対処するために、時間の経過に伴う同じ単語の埋め込み間の類似性マトリックスを活用することで、複数の期間にわたって意味論的な変化がどのように発生するかを示す、シンプルかつ直感的なフレームワークを提案します。
任意の期間にわたる高速かつ軽量の単語埋め込みを使用して通時的な単語類似性行列を計算し、連続的な意味の変化をより深く分析できるようにします。
さらに、異なる単語の類似性行列をクラスター化することにより、教師なしの方法で意味シフトの同様の動作を示す単語を分類できます。

要約(オリジナル)

The meanings and relationships of words shift over time. This phenomenon is referred to as semantic shift. Research focused on understanding how semantic shifts occur over multiple time periods is essential for gaining a detailed understanding of semantic shifts. However, detecting change points only between adjacent time periods is insufficient for analyzing detailed semantic shifts, and using BERT-based methods to examine word sense proportions incurs a high computational cost. To address those issues, we propose a simple yet intuitive framework for how semantic shifts occur over multiple time periods by leveraging a similarity matrix between the embeddings of the same word through time. We compute a diachronic word similarity matrix using fast and lightweight word embeddings across arbitrary time periods, making it deeper to analyze continuous semantic shifts. Additionally, by clustering the similarity matrices for different words, we can categorize words that exhibit similar behavior of semantic shift in an unsupervised manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google