A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches

要約

ベクトルベースの単語表現は、無数の自然言語処理 (NLP) タスクが言語の意味規則と構文規則の両方を取得するのに役立ちます。
この論文では、既存の単語埋め込みアプローチの特徴を提示し、多くの分類タスクに関してそれらを分析します。
方法を 2 つの主要なグループに分類します。従来のアプローチでは、主に行列分解を使用して単語表現を生成しますが、言語の意味的および構文的規則性をうまく捉えることができません。
一方、ニューラル ネットワーク ベースのアプローチでは、言語の洗練された規則性を捉え、生成された単語表現で単語の関係を保持できます。
複数の分類タスクに関する実験結果を報告し、1 つのアプローチが他のアプローチよりも優れているシナリオを強調します。

要約(オリジナル)

Vector-based word representations help countless Natural Language Processing (NLP) tasks capture both semantic and syntactic regularities of the language. In this paper, we present the characteristics of existing word embedding approaches and analyze them with regards to many classification tasks. We categorize the methods into two main groups – Traditional approaches mostly use matrix factorization to produce word representations, and they are not able to capture the semantic and syntactic regularities of the language very well. Neural-Network based approaches, on the other hand, can capture sophisticated regularities of the language and preserve the word relationships in the generated word representations. We report experimental results on multiple classification tasks and highlight the scenarios where one approach performs better than the rest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google