Interpretable Syntactic Representations Enable Hierarchical Word Vectors

要約

現在使用されている分散表現は高密度で解釈不可能であるため、それ自体が相対的で過剰であり、解釈が難しいという解釈につながります。
我々は、これらの単語ベクトルを簡略化された構文表現に変換する方法を提案します。
結果として得られる表現はコンパクトで解釈可能であるため、単語ベクトルのより適切な視覚化と比較が可能になり、描画された解釈が人間の判断と一致していることを逐次実証します。
次に、この構文表現を使用して、人間の学習の階層的な側面と同様の増分学習アプローチを使用して階層的な単語ベクトルを作成します。
これらの表現は事前にトレーニングされたベクトルから描画されるため、生成プロセスと学習アプローチは計算効率が高くなります。
最も重要なことは、構文表現がベクトルの妥当な解釈を提供し、その後の階層ベクトルがベンチマーク テストで元のベクトルよりも優れていることが判明したことです。

要約(オリジナル)

The distributed representations currently used are dense and uninterpretable, leading to interpretations that themselves are relative, overcomplete, and hard to interpret. We propose a method that transforms these word vectors into reduced syntactic representations. The resulting representations are compact and interpretable allowing better visualization and comparison of the word vectors and we successively demonstrate that the drawn interpretations are in line with human judgment. The syntactic representations are then used to create hierarchical word vectors using an incremental learning approach similar to the hierarchical aspect of human learning. As these representations are drawn from pre-trained vectors, the generation process and learning approach are computationally efficient. Most importantly, we find out that syntactic representations provide a plausible interpretation of the vectors and subsequent hierarchical vectors outperform the original vectors in benchmark tests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google