Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions

要約

自然言語の定義は、潜在空間における明示的な概念関係と制約を保持できる表現学習手法をサポートできる、再帰的で自明な意味構造を持っている。本稿では、定義から単語埋め込みを導出するために、このような構造を明示的に活用する多関係モデルを提示する。定義された用語と定義された用語を結びつける関係を辞書から自動的に抽出することで、単語埋め込みを学習する問題が、双曲空間における並進フレームワークによってどのように形式化され、定義の大域的な意味構造を捉える代理として利用できるかを実証する。広範な実証分析により、このフレームワークが、制御可能で解釈可能な探索に必要な意味的マッピングを保持しつつ、望ましい構造的制約を課すのに役立つことが実証された。さらに、実験により、ハイパーボリック単語埋め込みがユークリッド単語埋め込みよりも優れていることが明らかになり、多関係アプローチが、本質的により効率的で解釈しやすいという利点を持ちながら、最先端のニューラルモデルと比較したときに競争力のある結果を得ることができることが実証された。

要約(オリジナル)

Natural language definitions possess a recursive, self-explanatory semantic structure that can support representation learning methods able to preserve explicit conceptual relations and constraints in the latent space. This paper presents a multi-relational model that explicitly leverages such a structure to derive word embeddings from definitions. By automatically extracting the relations linking defined and defining terms from dictionaries, we demonstrate how the problem of learning word embeddings can be formalised via a translational framework in Hyperbolic space and used as a proxy to capture the global semantic structure of definitions. An extensive empirical analysis demonstrates that the framework can help imposing the desired structural constraints while preserving the semantic mapping required for controllable and interpretable traversal. Moreover, the experiments reveal the superiority of the Hyperbolic word embeddings over the Euclidean counterparts and demonstrate that the multi-relational approach can obtain competitive results when compared to state-of-the-art neural models, with the advantage of being intrinsically more efficient and interpretable.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL