Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions

要約

自然言語定義は、潜在空間で明示的な概念的関係と制約を保存できる表現学習方法をサポートできる、再帰的で自明の意味構造を備えています。
この論文では、このような構造を明示的に利用して定義から単語の埋め込みを導出するマルチリレーショナル モデルを紹介します。
定義された用語と定義された用語をリンクする関係を辞書から自動的に抽出することにより、単語の埋め込み学習の問題を双曲空間の翻訳フレームワークを介して形式化し、定義のグローバルな意味構造を捕捉するための代用としてどのように使用できるかを示します。
広範な実証分析により、このフレームワークが、制御可能かつ解釈可能なトラバーサルに必要なセマンティック マッピングを維持しながら、必要な構造的制約を課すのに役立つことが実証されています。
さらに、この実験は、ユークリッドの対応物に対する双曲型単語埋め込みの優位性を明らかにし、マルチリレーショナル アプローチが、本質的に効率が高く、本質的により効率的であるという利点により、最先端のニューラル モデルと比較して競合する結果を得ることができることを実証しています。
解釈可能。

要約(オリジナル)

Natural language definitions possess a recursive, self-explanatory semantic structure that can support representation learning methods able to preserve explicit conceptual relations and constraints in the latent space. This paper presents a multi-relational model that explicitly leverages such a structure to derive word embeddings from definitions. By automatically extracting the relations linking defined and defining terms from dictionaries, we demonstrate how the problem of learning word embeddings can be formalised via a translational framework in Hyperbolic space and used as a proxy to capture the global semantic structure of definitions. An extensive empirical analysis demonstrates that the framework can help imposing the desired structural constraints while preserving the semantic mapping required for controllable and interpretable traversal. Moreover, the experiments reveal the superiority of the Hyperbolic word embeddings over the Euclidean counterparts and demonstrate that the multi-relational approach can obtain competitive results when compared to state-of-the-art neural models, with the advantage of being intrinsically more efficient and interpretable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google