Norm of Word Embedding Encodes Information Gain

要約

単語の分散表現は語彙の意味情報をエンコードしますが、どのような種類の情報がどのようにエンコードされるのでしょうか?
ネガティブサンプリング法によるスキップグラムに焦点を当てると、静的な単語埋め込みの二乗ノルムが単語によって伝達される情報ゲインをエンコードすることがわかりました。
情報利得は、単語の共起分布とユニグラム分布のカルバック・ライブラー発散によって定義されます。
私たちの発見は、確率分布の指数関数群の理論的枠組みによって説明され、単語の頻度から生じる偽の相関を除去する正確な実験によって確認されています。
この理論は、言語モデルまたはソフトマックス出力層を備えたニューラル ネットワークにおける文脈化された単語の埋め込みにも拡張されます。
また、KL 発散と埋め込みの二乗ノルムの両方が、キーワード抽出、固有名詞の識別、上位語の識別などのタスクにおいて単語の情報量を示す有用な指標となることも示します。

要約(オリジナル)

Distributed representations of words encode lexical semantic information, but what type of information is encoded and how? Focusing on the skip-gram with negative-sampling method, we found that the squared norm of static word embedding encodes the information gain conveyed by the word; the information gain is defined by the Kullback-Leibler divergence of the co-occurrence distribution of the word to the unigram distribution. Our findings are explained by the theoretical framework of the exponential family of probability distributions and confirmed through precise experiments that remove spurious correlations arising from word frequency. This theory also extends to contextualized word embeddings in language models or any neural networks with the softmax output layer. We also demonstrate that both the KL divergence and the squared norm of embedding provide a useful metric of the informativeness of a word in tasks such as keyword extraction, proper-noun discrimination, and hypernym discrimination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google