Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions

要約

分布情報のみを用いた神経ベースの単語埋め込みは、下流タスクに有用な意味表現を常に生み出してきた。しかし、既存のアプローチでは、解釈や制御が困難な表現が得られることが多い。一方、自然言語の定義は、再帰的で自己説明的な意味構造を有しており、ベクトル空間における明示的な概念関係や制約を保持することができる新しい表現学習パラダイムをサポートすることができる。 本論文では、定義された用語と定義された用語を対応する意味関係とともに共同でマッピングすることにより、自然言語の定義から排他的に単語埋め込みを学習する神経記号的、多関係的なフレームワークを提案する。定義コーパスから自動的に関係を抽出し、翻訳目的によって学習問題を形式化することで、定義によって誘発される階層的かつ多重解像度構造を捉えるために、双曲線空間にフレームワークを特化する。広範な実証分析により、このフレームワークが、制御可能で解釈可能なセマンティックナビゲーションに必要なマッピングを保持しながら、望ましい構造的制約を課すのに役立つことが実証された。さらに、実験により、ユークリッド型よりも双曲線型の単語埋め込みが優れていることが明らかになり、多関係フレームワークは、最先端のニューラルアプローチ（Transformersを含む）と比較した場合に競争力のある結果を得ることができ、著しく効率的で本質的に解釈可能であるという利点もあることが実証された。

要約(オリジナル)

Neural-based word embeddings using solely distributional information have consistently produced useful meaning representations for downstream tasks. However, existing approaches often result in representations that are hard to interpret and control. Natural language definitions, on the other side, possess a recursive, self-explanatory semantic structure that can support novel representation learning paradigms able to preserve explicit conceptual relations and constraints in the vector space. This paper proposes a neuro-symbolic, multi-relational framework to learn word embeddings exclusively from natural language definitions by jointly mapping defined and defining terms along with their corresponding semantic relations. By automatically extracting the relations from definitions corpora and formalising the learning problem via a translational objective, we specialise the framework in hyperbolic space to capture the hierarchical and multi-resolution structure induced by the definitions. An extensive empirical analysis demonstrates that the framework can help impose the desired structural constraints while preserving the mapping required for controllable and interpretable semantic navigation. Moreover, the experiments reveal the superiority of the hyperbolic word embeddings over the euclidean counterparts and demonstrate that the multi-relational framework can obtain competitive results when compared to state-of-the-art neural approaches (including Transformers), with the advantage of being significantly more efficient and intrinsically interpretable.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL