Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings

要約

大規模な事前トレーニング済みモデルから生成されたコンテキスト化された埋め込みは多くのタスクでうまく機能しますが、従来の静的埋め込み (Skip-gram、Word2Vec など) は、計算コストが低く、簡単であるため、リソースが少なく軽量な設定でも重要な役割を果たします。
展開の安定性。
このホワイト ペーパーでは、1) 既存の事前トレーニング済みモデルからのより多くのコンテキスト情報を、Context-to-Vec と呼ぶ Skip-gram フレームワークに組み込むことによって、単語の埋め込みを改善することを目指しています。
2) 事前同義語知識と加重ベクトル分布を採用することにより、トレーニングとは独立した静的埋め込みのための後処理レトロフィット方法を提案する。
外因性および内因性タスクを通じて、私たちの方法はベースラインを大幅に上回ることが十分に証明されています。

要約(オリジナル)

Although contextualized embeddings generated from large-scale pre-trained models perform well in many tasks, traditional static embeddings (e.g., Skip-gram, Word2Vec) still play an important role in low-resource and lightweight settings due to their low computational cost, ease of deployment, and stability. In this paper, we aim to improve word embeddings by 1) incorporating more contextual information from existing pre-trained models into the Skip-gram framework, which we call Context-to-Vec; 2) proposing a post-processing retrofitting method for static embeddings independent of training by employing priori synonym knowledge and weighted vector distribution. Through extrinsic and intrinsic tasks, our methods are well proven to outperform the baselines by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google