Word sense extension

要約

人間は、新しい感覚を表現するために言葉を創造的に利用することがよくあります。
自然言語処理における長年の取り組みは、語義曖昧さ回避 (WSD) に焦点を当ててきましたが、単語の意味インベントリを新しい意味に拡張する方法についてはほとんど研究されていません。
我々は、単語が新しい文脈に向かって新しい意味を生み出すことを可能にする単語意味拡張 (WSE) のパラダイムを提示します。
最初に多義語タイプをその異なる意味を示す 2 つの擬似トークンに分割し、次に擬似トークンの意味を拡張してそのトークンが示す意味を伝えることができるかどうかを推論することにより、新しい語義の拡張をシミュレートするフレームワークを開発します。
同じ単語タイプから分割されます。
私たちのフレームワークは、連鎖の認知モデルと、さまざまな種類の語感拡張をサポートする言語モデル埋め込み空間を変換する学習スキームを組み合わせています。
私たちは、いくつかの競合ベースラインに対してフレームワークを評価し、7,500 を超える英語単語に対するもっともらしい新しい意味の予測においてフレームワークが優れていることを示しました。
さらに、WSE フレームワークが、トレーニング データ内での言及がほとんどまたはまったくない珍しい語義の予測において、さまざまなトランスフォーマー ベースの WSD モデルのパフォーマンスを向上させることを示します。

要約(オリジナル)

Humans often make creative use of words to express novel senses. A long-standing effort in natural language processing has been focusing on word sense disambiguation (WSD), but little has been explored about how the sense inventory of a word may be extended toward novel meanings. We present a paradigm of word sense extension (WSE) that enables words to spawn new senses toward novel context. We develop a framework that simulates novel word sense extension by first partitioning a polysemous word type into two pseudo-tokens that mark its different senses, and then inferring whether the meaning of a pseudo-token can be extended to convey the sense denoted by the token partitioned from the same word type. Our framework combines cognitive models of chaining with a learning scheme that transforms a language model embedding space to support various types of word sense extension. We evaluate our framework against several competitive baselines and show that it is superior in predicting plausible novel senses for over 7,500 English words. Furthermore, we show that our WSE framework improves performance over a range of transformer-based WSD models in predicting rare word senses with few or zero mentions in the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google