Representation Learning on Hyper-Relational and Numeric Knowledge Graphs with Transformers

要約

最近、トリプレットが一連の修飾子に関連付けられているハイパーリレーショナル ナレッジ グラフが研究されています。
修飾子は関係とエンティティで構成され、トリプレットに補助情報を提供します。
既存のハイパーリレーショナル ナレッジ グラフ埋め込み手法はエンティティが個別のオブジェクトであることを前提としていますが、一部の情報は数値を使用して表現する必要があります (例: (J.R.R. は 1892 年生まれ))。
また、トリプレット (J.R.R.、オックスフォード大学で教育) は、(開始時刻、1911 年) などの修飾子に関連付けることができます。
この論文では、トリプレットまたは修飾子のいずれかに数値リテラルを含むハイパーリレーショナル ナレッジ グラフの表現を学習する、HyNT という名前の統合フレームワークを提案します。
トリプレットとその修飾子の間の相関だけでなく数値情報にも基づいて表現を学習するために、コンテキスト トランスフォーマーと予測トランスフォーマーを定義します。
トリプレットと修飾子のコンパクトな表現を学習し、それらをトランスフォーマーに供給することで、トランスフォーマーを使用する計算コストを削減します。
HyNT を使用すると、ハイパーリレーショナル ナレッジ グラフで欠落しているエンティティや関係に加えて、欠落している数値を予測できます。
実験結果は、HyNT が現実世界のデータセットで最先端の手法を大幅に上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

A hyper-relational knowledge graph has been recently studied where a triplet is associated with a set of qualifiers; a qualifier is composed of a relation and an entity, providing auxiliary information for a triplet. While existing hyper-relational knowledge graph embedding methods assume that the entities are discrete objects, some information should be represented using numeric values, e.g., (J.R.R., was born in, 1892). Also, a triplet (J.R.R., educated at, Oxford Univ.) can be associated with a qualifier such as (start time, 1911). In this paper, we propose a unified framework named HyNT that learns representations of a hyper-relational knowledge graph containing numeric literals in either triplets or qualifiers. We define a context transformer and a prediction transformer to learn the representations based not only on the correlations between a triplet and its qualifiers but also on the numeric information. By learning compact representations of triplets and qualifiers and feeding them into the transformers, we reduce the computation cost of using transformers. Using HyNT, we can predict missing numeric values in addition to missing entities or relations in a hyper-relational knowledge graph. Experimental results show that HyNT significantly outperforms state-of-the-art methods on real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google