Substitution-based Semantic Change Detection using Contextual Embeddings

要約

意味の変化を測定することは、これまでのところ依然として課題であり、コンテキスト埋め込みを使用する方法は、静的な単語ベクトルのみに依存するより単純な手法を改善するのに苦労しています。
さらに、これまでに提案されたアプローチの多くには、スケーラビリティと解釈の容易さに関する欠点があります。
マスクされた用語の最も可能性の高い代替物のみに依存して、コンテキストの埋め込みを使用して意味の変化を測定するための簡略化されたアプローチを提案します。
このアプローチは直接解釈できるだけでなく、ストレージの点でもはるかに効率的であり、このタスクで最も頻繁に引用されるデータセット全体で優れた平均パフォーマンスを達成し、静的ワード ベクトルで可能であるよりも微妙な変化の調査を可能にします。

要約(オリジナル)

Measuring semantic change has thus far remained a task where methods using contextual embeddings have struggled to improve upon simpler techniques relying only on static word vectors. Moreover, many of the previously proposed approaches suffer from downsides related to scalability and ease of interpretation. We present a simplified approach to measuring semantic change using contextual embeddings, relying only on the most probable substitutes for masked terms. Not only is this approach directly interpretable, it is also far more efficient in terms of storage, achieves superior average performance across the most frequently cited datasets for this task, and allows for more nuanced investigation of change than is possible with static word vectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google