Efficient Link Prediction via GNN Layers Induced by Negative Sampling

要約

リンク予測用のグラフ ニューラル ネットワーク (GNN) は、大まかに 2 つのカテゴリに分類できます。
まず、 \emph{ノードごとの} アーキテクチャは各ノードの個別の埋め込みを事前に計算し、後で単純なデコーダーによって結合して予測を行います。
推論時には非常に効率的ですが、モデルの表現力は制限されているため、候補エッジに寄与する同型ノードが区別できず、精度が損なわれる可能性があります。
対照的に、 \emph{edge-wise} メソッドはエッジ固有のサブグラフ埋め込みの形成に依存してペアワイズ関係の表現を強化し、同型ノードを曖昧さなくして精度を向上させますが、モデルの複雑さは増加します。
このトレードオフをより適切に回避するために、\emph{forward pass} が \emph{両方} の正 (一般的な) エッジと負 (私たちのアプローチに特有の) エッジに明示的に依存する新しい GNN アーキテクチャを提案して、より柔軟な情報を提供します。
それでもまだ安価なノードごとの埋め込み。
これは、ポジティブサンプルとネガティブサンプルの分離を促進するフォワードパス固有のエネルギー関数のミニマイザーとして埋め込み自体を再キャストすることによって実現されます。
特に、このエネルギーは、対照的なペアが \textit{backward pass} にのみ影響を与える、ほとんどの既存のリンク予測モデルで共有される実際のトレーニング損失とは異なります。
広範な経験的評価によって実証されているように、結果として得られるアーキテクチャは、ノードごとのモデルの推論速度を維持しながら、エッジごとの代替モデルと競合する精度を生み出します。
コードを https://github.com/yxzwang/SubmissionverOfyingYanGNN でリリースしました。

要約(オリジナル)

Graph neural networks (GNNs) for link prediction can loosely be divided into two broad categories. First, \emph{node-wise} architectures pre-compute individual embeddings for each node that are later combined by a simple decoder to make predictions. While extremely efficient at inference time, model expressiveness is limited such that isomorphic nodes contributing to candidate edges may not be distinguishable, compromising accuracy. In contrast, \emph{edge-wise} methods rely on the formation of edge-specific subgraph embeddings to enrich the representation of pair-wise relationships, disambiguating isomorphic nodes to improve accuracy, but with increased model complexity. To better navigate this trade-off, we propose a novel GNN architecture whereby the \emph{forward pass} explicitly depends on \emph{both} positive (as is typical) and negative (unique to our approach) edges to inform more flexible, yet still cheap node-wise embeddings. This is achieved by recasting the embeddings themselves as minimizers of a forward-pass-specific energy function that favors separation of positive and negative samples. Notably, this energy is distinct from the actual training loss shared by most existing link prediction models, where contrastive pairs only influence the \textit{backward pass}. As demonstrated by extensive empirical evaluations, the resulting architecture retains the inference speed of node-wise models, while producing competitive accuracy with edge-wise alternatives. We released our code at https://github.com/yxzwang/SubmissionverOfYinYanGNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google