A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change

要約

コンテキスト化された埋め込みは、語彙意味変更 (LSC) をモデリングするための推奨ツールです。
現在の評価は通常、段階的変更検出 (GCD) として知られる特定のタスクに焦点を当てています。
ただし、作業全体のパフォーマンスの比較は、さまざまな設定に依存しているため、誤解を招くことがよくあります。
この論文では、同等の条件下で GCD の最先端のモデルとアプローチを評価します。
さらに、LSC 問題を Word-in-Context (WiC) タスクと Word Sense Induction (WSI) タスクに分割し、これらのさまざまなレベルでモデルを比較します。
私たちの評価は、LSC で利用可能な 8 つのベンチマークでさまざまな言語にわたって実行され、(i) APD が GCD の他のアプローチよりも優れていることを示しています。
(ii) XL-LEXEME は、GPT-4 と同等でありながら、WiC、WSI、および GCD に関して他のコンテキスト化されたモデルよりも優れたパフォーマンスを発揮します。
(iii) 単語の意味のモデリングを改善するとともに、意味の変化の範囲だけに焦点を当てるのではなく、これらの意味がいつ、どのように、そしてなぜ変化するかに焦点を当てる必要があることは明らかです。

要約(オリジナル)

Contextualized embeddings are the preferred tool for modeling Lexical Semantic Change (LSC). Current evaluations typically focus on a specific task known as Graded Change Detection (GCD). However, performance comparison across work are often misleading due to their reliance on diverse settings. In this paper, we evaluate state-of-the-art models and approaches for GCD under equal conditions. We further break the LSC problem into Word-in-Context (WiC) and Word Sense Induction (WSI) tasks, and compare models across these different levels. Our evaluation is performed across different languages on eight available benchmarks for LSC, and shows that (i) APD outperforms other approaches for GCD; (ii) XL-LEXEME outperforms other contextualized models for WiC, WSI, and GCD, while being comparable to GPT-4; (iii) there is a clear need for improving the modeling of word meanings, as well as focus on how, when, and why these meanings change, rather than solely focusing on the extent of semantic change.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google