Together We Make Sense — Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings

要約

意味埋め込み学習法は、与えられたあいまいな単語に対して、そのさまざまな語義に対応する複数のベクトルを学習します。
この目的のために、異なる感覚インベントリ、感覚タグ付きコーパス、および学習方法を使用する、感覚埋め込み学習に関する以前の研究において、異なる方法が提案されてきた。
ただし、トレーニング リソースに差異があるため、既存の意味埋め込みのすべてが曖昧な単語のすべての意味を同様にうまくカバーしているわけではありません。
この問題に対処するために、我々は史上初のメタセンス埋め込み手法である近隣保存メタセンス埋め込み法を提案します。これは、ソース埋め込みから計算されたセンス近傍が
メタ埋め込み空間に保存されます。
私たちが提案する方法は、さまざまな単語の意味のセットをカバーするソースセンスの埋め込みを組み合わせることができます。
Word Sense Disambiguation (WSD) および Word-in-Context (WiC) タスクに関する実験結果は、提案されたメタセンス埋め込み手法がいくつかの競合ベースラインを一貫して上回ることを示しています。

要約(オリジナル)

Sense embedding learning methods learn multiple vectors for a given ambiguous word, corresponding to its different word senses. For this purpose, different methods have been proposed in prior work on sense embedding learning that use different sense inventories, sense-tagged corpora and learning methods. However, not all existing sense embeddings cover all senses of ambiguous words equally well due to the discrepancies in their training resources. To address this problem, we propose the first-ever meta-sense embedding method — Neighbour Preserving Meta-Sense Embeddings, which learns meta-sense embeddings by combining multiple independently trained source sense embeddings such that the sense neighbourhoods computed from the source embeddings are preserved in the meta-embedding space. Our proposed method can combine source sense embeddings that cover different sets of word senses. Experimental results on Word Sense Disambiguation (WSD) and Word-in-Context (WiC) tasks show that the proposed meta-sense embedding method consistently outperforms several competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google