HAHE: Hierarchical Attention for Hyper-Relational Knowledge Graphs in Global and Local Level

要約

ハイパー関係知識グラフ（HKG）上のリンク予測は、価値ある試みである。HKGは、主なトリプルといくつかの補助的な属性値修飾子からなる超関係的ファクト（H-Facts）で構成されており、事実的に包括的な情報を効果的に表現することができる。HKGの内部構造は、グローバルにはハイパーグラフベースの表現として、ローカルにはセマンティックシーケンスベースの表現として表現することができる。しかし、既存の研究では、HKGのグラフ構造とシーケンシャル構造を同時にモデル化することはほとんどなく、HKGの表現に制限がある。この制限を克服するために、我々は、グローバルレベルとローカルレベルの注意を含む、HKG埋め込み用の新しい階層的注意モデル(HAHE)を提案する。グローバルレベルの注意は、ハイパーグラフデュアルアテンションレイヤーを用いてHKGのグラフィカル構造をモデル化し、ローカルレベルの注意は、異種自己注意レイヤーを用いてH-Fact内部のシーケンシャル構造を学習することができる。実験の結果、HAHEはHKG標準データセットのリンク予測タスクにおいて、最先端の性能を達成することがわかった。さらに、HAHEはHKGのマルチポジション予測の問題に初めて取り組み、HKGリンク予測タスクの適用性を向上させた。我々のコードは一般に公開されています。

要約(オリジナル)

Link Prediction on Hyper-relational Knowledge Graphs (HKG) is a worthwhile endeavor. HKG consists of hyper-relational facts (H-Facts), composed of a main triple and several auxiliary attribute-value qualifiers, which can effectively represent factually comprehensive information. The internal structure of HKG can be represented as a hypergraph-based representation globally and a semantic sequence-based representation locally. However, existing research seldom simultaneously models the graphical and sequential structure of HKGs, limiting HKGs’ representation. To overcome this limitation, we propose a novel Hierarchical Attention model for HKG Embedding (HAHE), including global-level and local-level attention. The global-level attention can model the graphical structure of HKG using hypergraph dual-attention layers, while the local-level attention can learn the sequential structure inside H-Facts via heterogeneous self-attention layers. Experiment results indicate that HAHE achieves state-of-the-art performance in link prediction tasks on HKG standard datasets. In addition, HAHE addresses the issue of HKG multi-position prediction for the first time, increasing the applicability of the HKG link prediction task. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL