Efficient distributed representations beyond negative sampling

要約

この記事では、埋め込みとも呼ばれる分散表現を効率的に学習する方法について説明します。
これは、Word2Vec アルゴリズムで導入され、後にいくつかの作品で採用されたものと同様の目的関数を最小化することで達成されます。
最適化の計算上のボトルネックは、ソフトマックス正規化定数の計算です。これには、サンプル サイズに応じて二次関数的にスケーリングする多数の操作が必要です。
この複雑さは大規模なデータセットには適さず、負のサンプリングは一般的な回避策であり、サンプル サイズに関して線形時間で分散表現を取得できます。
ただし、負のサンプリングは損失関数の変更に含まれるため、最初に提案されたものとは異なる最適化問題を解決します。
私たちの貢献は、sotfmax 正規化定数が線形時間で推定できることを示し、分散表現を学習するための効率的な最適化戦略を設計できるようにすることです。
単語とノードの埋め込みに関連する 2 つの一般的なアプリケーションで近似をテストします。
この結果は、計算時間が著しく短いネガティブ サンプリングと比較して、精度の面で競合するパフォーマンスを示しています。

要約(オリジナル)

This article describes an efficient method to learn distributed representations, also known as embeddings. This is accomplished minimizing an objective function similar to the one introduced in the Word2Vec algorithm and later adopted in several works. The optimization computational bottleneck is the calculation of the softmax normalization constants for which a number of operations scaling quadratically with the sample size is required. This complexity is unsuited for large datasets and negative sampling is a popular workaround, allowing one to obtain distributed representations in linear time with respect to the sample size. Negative sampling consists, however, in a change of the loss function and hence solves a different optimization problem from the one originally proposed. Our contribution is to show that the sotfmax normalization constants can be estimated in linear time, allowing us to design an efficient optimization strategy to learn distributed representations. We test our approximation on two popular applications related to word and node embeddings. The results evidence competing performance in terms of accuracy with respect to negative sampling with a remarkably lower computational time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google