Efficient Relation-aware Neighborhood Aggregation in Graph Neural Networks via Tensor Decomposition

要約

多くのグラフ ニューラル ネットワーク (GNN) がナレッジ グラフ エンベディング (KGE) 用に提案されています。
しかし、これらの手法の多くは関係情報の重要性を無視し、それをエンティティの情報と非効率に組み合わせるため、表現力が低くなります。
この問題に対処するために、リレーショナル グラフ畳み込みネットワーク (R-GCN) の集計関数にテンソル分解を組み込んだ一般知識グラフ エンコーダを導入します。
私たちのモデルでは、隣接するエンティティは、マルチタスク学習の恩恵を受け、表現力豊かな関係を意識した表現を生成するために、関係タイプによって定義された低ランク テンソルの射影行列を使用して変換されます。
さらに、モデルを圧縮し正則化するために CP 分解を使用したコア テンソルの低ランク推定を提案します。
対照学習にヒントを得たトレーニング方法を使用します。これにより、巨大なグラフに対する 1-N 法のトレーニング制限が緩和されます。
当社は、比較的低い寸法の埋め込みを使用して、FB15k-237 および WN18RR で有利な競争力のある結果を達成しています。

要約(オリジナル)

Many Graph Neural Networks (GNNs) are proposed for Knowledge Graph Embedding (KGE). However, lots of these methods neglect the importance of the information of relations and combine it with the information of entities inefficiently, leading to low expressiveness. To address this issue, we introduce a general knowledge graph encoder incorporating tensor decomposition in the aggregation function of Relational Graph Convolutional Network (R-GCN). In our model, neighbor entities are transformed using projection matrices of a low-rank tensor which are defined by relation types to benefit from multi-task learning and produce expressive relation-aware representations. Besides, we propose a low-rank estimation of the core tensor using CP decomposition to compress and regularize our model. We use a training method inspired by contrastive learning, which relieves the training limitation of the 1-N method on huge graphs. We achieve favorably competitive results on FB15k-237 and WN18RR with embeddings in comparably lower dimensions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google