Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction

要約

リンク予測は、引用の予測や製品の推奨を含むアプリケーションを備えた重要なグラフ学習タスクです。
グラフの蒸留ニューラルネットワーク（GNNS）教師は、マルチレイヤーパーセプロン（MLPS）の学生に、グラフ依存性を削除することにより、強力なパフォーマンスを達成し、計算コストを削減するための効果的なアプローチとして浮上しています。
ただし、既存の蒸留方法は標準のGNNのみを使用し、リンク予測用の専門モデル（GNN4LP）やヒューリスティックな方法（一般的な隣接）などの代替教師を見落としています。
この論文では、最初にGNNからMLPへの蒸留におけるさまざまな教師の影響を探ります。
驚くべきことに、より強力な教師は常により強力な学生を生成するとは限らないことがわかります。GNN4LPから蒸留されたMLPは、より単純なGNNから蒸留された人々をパフォーマーに導くことができますが、より弱いヒューリスティックな方法は、トレーニングコストを大幅に削減するためにMLPを指導することができます。
これらの洞察に基づいて、ゲーティングメカニズムを介して補完的な信号を効果的に統合しながらグラフ依存性を排除するアンサンブルヒューリスティックディスチルMLP（EHDM）を提案します。
10個のデータセットでの実験では、トレーニング時間が1.95〜3.32倍短い以前のGNNからMLPへのアプローチで平均7.93％の改善が示されており、EHDMは効率的で効果的なリンク予測方法であることを示しています。

要約(オリジナル)

Link prediction is a crucial graph-learning task with applications including citation prediction and product recommendation. Distilling Graph Neural Networks (GNNs) teachers into Multi-Layer Perceptrons (MLPs) students has emerged as an effective approach to achieve strong performance and reducing computational cost by removing graph dependency. However, existing distillation methods only use standard GNNs and overlook alternative teachers such as specialized model for link prediction (GNN4LP) and heuristic methods (e.g., common neighbors). This paper first explores the impact of different teachers in GNN-to-MLP distillation. Surprisingly, we find that stronger teachers do not always produce stronger students: MLPs distilled from GNN4LP can underperform those distilled from simpler GNNs, while weaker heuristic methods can teach MLPs to near-GNN performance with drastically reduced training costs. Building on these insights, we propose Ensemble Heuristic-Distilled MLPs (EHDM), which eliminates graph dependencies while effectively integrating complementary signals via a gating mechanism. Experiments on ten datasets show an average 7.93% improvement over previous GNN-to-MLP approaches with 1.95-3.32 times less training time, indicating EHDM is an efficient and effective link prediction method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google