A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches

要約

ベクトルベースの単語表現は、数え切れないほどの自然言語処理（NLP）タスクが言語の意味的・構文的な規則性を捉えるのに役立っている。本稿では、既存の単語埋め込みアプローチの特徴を示し、多くの分類タスクに関してそれらを分析する。伝統的なアプローチは、単語表現を生成するために行列分解を用いることがほとんどであり、言語の意味的・構文的規則性をうまく捉えることができない。一方、ニューラルネットワークベースのアプローチは、言語の高度な規則性を捉えることができ、生成された単語表現において単語の関係を保持することができる。複数の分類タスクに関する実験結果を報告し、1つのアプローチが他よりも優れた性能を示すシナリオを強調する。

要約(オリジナル)

Vector-based word representations help countless Natural Language Processing (NLP) tasks capture the language’s semantic and syntactic regularities. In this paper, we present the characteristics of existing word embedding approaches and analyze them with regard to many classification tasks. We categorize the methods into two main groups – Traditional approaches mostly use matrix factorization to produce word representations, and they are not able to capture the semantic and syntactic regularities of the language very well. On the other hand, Neural-network-based approaches can capture sophisticated regularities of the language and preserve the word relationships in the generated word representations. We report experimental results on multiple classification tasks and highlight the scenarios where one approach performs better than the rest.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL