Mixture of Link Predictors

要約

グラフ内の目に見えない接続を予測することを目的としたリンク予測は、グラフ機械学習の基本的なタスクです。
ヒューリスティック手法は、共通の近傍や最短パスなど、さまざまなペアごとの尺度を活用し、通常のグラフ ニューラル ネットワーク (GNN) のパフォーマンスに匹敵することがよくあります。
したがって、リンク予測用の GNN (GNN4LP) の最近の進歩は、主に 1 つまたは数種類のペア情報の統合に焦点を当ててきました。
この研究では、同じデータセット内の異なるノード ペアでは、正確な予測のためにさまざまなペアごとの情報が必要であり、同じペアごとの情報を均一に適用するだけのモデルでは次善のパフォーマンスが達成される可能性があることを明らかにしました。
その結果、リンク予測のための専門家の単純な混合モデル Link-MoE を提案します。
Link-MoE は、さまざまな GNN をエキスパートとして利用し、さまざまなタイプのペア情報に基づいて、各ノード ペアに適切なエキスパートを戦略的に選択します。
現実世界の多様なデータセットにわたる実験結果は、Link-MoE による大幅なパフォーマンスの向上を示しています。
特に、Link-MoE は、最良のベースラインと比較して、Pubmed データセットの MRR メトリックで 18.82\%、ogbl-ppa データセットの Hits@100 メトリックで 10.8\% の相対的な改善を達成しています。

要約(オリジナル)

Link prediction, which aims to forecast unseen connections in graphs, is a fundamental task in graph machine learning. Heuristic methods, leveraging a range of different pairwise measures such as common neighbors and shortest paths, often rival the performance of vanilla Graph Neural Networks (GNNs). Therefore, recent advancements in GNNs for link prediction (GNN4LP) have primarily focused on integrating one or a few types of pairwise information. In this work, we reveal that different node pairs within the same dataset necessitate varied pairwise information for accurate prediction and models that only apply the same pairwise information uniformly could achieve suboptimal performance. As a result, we propose a simple mixture of experts model Link-MoE for link prediction. Link-MoE utilizes various GNNs as experts and strategically selects the appropriate expert for each node pair based on various types of pairwise information. Experimental results across diverse real-world datasets demonstrate substantial performance improvement from Link-MoE. Notably, Link-MoE achieves a relative improvement of 18.82\% on the MRR metric for the Pubmed dataset and 10.8\% on the Hits@100 metric for the ogbl-ppa dataset, compared to the best baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google