ReFactor GNNs: Revisiting Factorisation-based Models from a Message-Passing Perspective

要約

DistMult などの因数分解ベースのモデル (FM) は、ナレッジ グラフ補完 (KGC) タスクで永続的な成功を収めており、多くの場合、グラフ ニューラル ネットワーク (GNN) を上回ります。
ただし、GNN とは異なり、FM はノードの機能を組み込み、帰納的設定で目に見えないノードに一般化するのに苦労します。
私たちの取り組みは、ReFactor GNN を提案することで、FM と GNN の間のギャップを橋渡しします。
この新しいアーキテクチャは、以前は主に切り離されていると考えられていた両方のモデリング パラダイムを利用しています。
具体的には、メッセージパッシング形式を使用して、ReFactor GNN の基礎を形成する勾配降下手順をメッセージパッシング操作として再定式化することにより、FM を GNN としてキャストできる方法を示します。
確立された多数の KGC ベンチマークにわたって、当社の ReFactor GNN は、桁違いに少ないパラメーターを使用しながら、FM と同等の変換パフォーマンスと最先端の誘導パフォーマンスを達成します。

要約(オリジナル)

Factorisation-based Models (FMs), such as DistMult, have enjoyed enduring success for Knowledge Graph Completion (KGC) tasks, often outperforming Graph Neural Networks (GNNs). However, unlike GNNs, FMs struggle to incorporate node features and generalise to unseen nodes in inductive settings. Our work bridges the gap between FMs and GNNs by proposing ReFactor GNNs. This new architecture draws upon both modelling paradigms, which previously were largely thought of as disjoint. Concretely, using a message-passing formalism, we show how FMs can be cast as GNNs by reformulating the gradient descent procedure as message-passing operations, which forms the basis of our ReFactor GNNs. Across a multitude of well-established KGC benchmarks, our ReFactor GNNs achieve comparable transductive performance to FMs, and state-of-the-art inductive performance while using an order of magnitude fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google