Analyzing Semantic Change through Lexical Replacements

要約

現代の言語モデルは、周囲のコンテキストに基づいて単語の文脈を認識することができます。
ただし、この機能は、事前トレーニング中には遭遇しなかった新しい予期しないコンテキストで単語が使用される意味上の変更により損なわれることがよくあります。
この論文では、\textit{語彙置換}によって導入された予期せぬコンテキストの影響を研究することにより、\textit{意味の変更}をモデル化します。
私たちは、ターゲット単語をさまざまな関連性の語彙置換で置換し、さまざまな種類の意味変化をシミュレートする \textit{置換スキーマ} を提案します。
さらに、意味変更のための新しい \textit{interpretable} モデルの基礎として置換スキーマを活用します。
また、意味変更検出のための LLaMa の使用を初めて評価しました。

要約(オリジナル)

Modern language models are capable of contextualizing words based on their surrounding context. However, this capability is often compromised due to semantic change that leads to words being used in new, unexpected contexts not encountered during pre-training. In this paper, we model \textit{semantic change} by studying the effect of unexpected contexts introduced by \textit{lexical replacements}. We propose a \textit{replacement schema} where a target word is substituted with lexical replacements of varying relatedness, thus simulating different kinds of semantic change. Furthermore, we leverage the replacement schema as a basis for a novel \textit{interpretable} model for semantic change. We are also the first to evaluate the use of LLaMa for semantic change detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google