Variation and Instability in Dialect-Based Embedding Spaces

要約

この論文では、埋め込みの不安定性を制御しながら、さまざまな地域の英語でトレーニングされた埋め込みスペースの変動を測定します。
以前の研究では、類似した種類の言語を区別できることが示されましたが、この論文では 2 つのフォローアップの質問を使用して実験を行います。まず、トレーニング データで表される種類は、トレーニング後に得られる埋め込み空間に体系的に影響を与えますか?
この論文は、品種間の埋め込みの違いが、ベースラインの不安定性よりも有意に高いことを示しています。
第二に、そのような方言ベースのバリエーションは、レキシコン全体に均等に広がっていますか?
この論文は、レキシコンの特定の部分が特に変動しやすいことを示しています。
まとめると、これらの実験は、埋め込み空間がトレーニング データで表される方言によって大きく影響されることを確認しています。
この発見は、以前に研究された語彙および構文のバリエーションに加えて、方言間で意味のバリエーションがあることを意味します。

要約(オリジナル)

This paper measures variation in embedding spaces which have been trained on different regional varieties of English while controlling for instability in the embeddings. While previous work has shown that it is possible to distinguish between similar varieties of a language, this paper experiments with two follow-up questions: First, does the variety represented in the training data systematically influence the resulting embedding space after training? This paper shows that differences in embeddings across varieties are significantly higher than baseline instability. Second, is such dialect-based variation spread equally throughout the lexicon? This paper shows that specific parts of the lexicon are particularly subject to variation. Taken together, these experiments confirm that embedding spaces are significantly influenced by the dialect represented in the training data. This finding implies that there is semantic variation across dialects, in addition to previously-studied lexical and syntactic variation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google