An Embedded Diachronic Sense Change Model with a Case Study from Ancient Greek

要約

言葉の意味は時間の経過とともに変化し、その過程で言葉の意味も進化、出現、消滅します。
コーパスが小さくてまばらであることが多い古代言語の場合、そのような変化を正確にモデル化することは困難であることが判明し、その結果、意味変化の推定における不確実性を定量化することが重要になります。
GASC (Genre-Aware Semantic Change) と DiSC (Diachronic Sense Change) は、事前トレーニングの助けを借りずに教師なし学習を使用して、古代ギリシャ語テキスト コーパスからターゲット単語の意味変化を分析するために使用されてきた既存の生成モデルです。
これらのモデルは、「コスモス」(装飾、秩序、または世界を意味する) などの特定のターゲット単語の語義をコンテキスト単語全体の分布として表し、語義の普及率を語義全体の分布として表します。
モデルは、マルコフ連鎖モンテカルロ (MCMC) 法を使用してフィッティングされ、これらの表現の時間的変化を測定します。
このペーパーでは、単語埋め込みと DiSC を組み合わせて優れたモデル パフォーマンスを提供する、組み込み DiSC モデルである EDiSC を紹介します。
我々は、EDiSC が予測精度、グラウンドトゥルースの回復、および不確実性の定量化の向上に加え、MCMC 手法によるサンプリング効率とスケーラビリティ特性の向上を提供することを経験的に示しています。
これらのモデルを当てはめる際の課題についても説明します。

要約(オリジナル)

Word meanings change over time, and word senses evolve, emerge or die out in the process. For ancient languages, where the corpora are often small and sparse, modelling such changes accurately proves challenging, and quantifying uncertainty in sense-change estimates consequently becomes important. GASC (Genre-Aware Semantic Change) and DiSC (Diachronic Sense Change) are existing generative models that have been used to analyse sense change for target words from an ancient Greek text corpus, using unsupervised learning without the help of any pre-training. These models represent the senses of a given target word such as ‘kosmos’ (meaning decoration, order or world) as distributions over context words, and sense prevalence as a distribution over senses. The models are fitted using Markov Chain Monte Carlo (MCMC) methods to measure temporal changes in these representations. In this paper, we introduce EDiSC, an Embedded DiSC model, which combines word embeddings with DiSC to provide superior model performance. We show empirically that EDiSC offers improved predictive accuracy, ground-truth recovery and uncertainty quantification, as well as better sampling efficiency and scalability properties with MCMC methods. We also discuss the challenges of fitting these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google