Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs

要約

グラフ タスクで高精度のグラフ ニューラル ネットワーク (GNN) を低レイテンシの多層パーセプトロン (MLP) に抽出することは、注目の研究トピックになっています。
ただし、MLP はノード機能のみに依存しており、グラフの構造情報を取得できません。
以前の方法では、グラフ エッジを MLP の追加入力に処理することでこの問題に対処していましたが、そのようなグラフ構造はさまざまなシナリオで利用できない場合があります。
この目的のために、グラフのエッジを必要とせず（エッジフリー）、構造を認識したMLPを学習するプロトタイプガイド知識蒸留〜（PGKD）メソッドを提案します。
具体的には、GNN 教師のグラフ構造情報を分析し、そのような情報をエッジフリーの設定でプロトタイプを介して GNN から MLP に抽出します。
一般的なグラフ ベンチマークでの実験結果は、提案された PGKD の有効性と堅牢性を示しています。

要約(オリジナル)

Distilling high-accuracy Graph Neural Networks~(GNNs) to low-latency multilayer perceptrons~(MLPs) on graph tasks has become a hot research topic. However, MLPs rely exclusively on the node features and fail to capture the graph structural information. Previous methods address this issue by processing graph edges into extra inputs for MLPs, but such graph structures may be unavailable for various scenarios. To this end, we propose a Prototype-Guided Knowledge Distillation~(PGKD) method, which does not require graph edges~(edge-free) yet learns structure-aware MLPs. Specifically, we analyze the graph structural information in GNN teachers, and distill such information from GNNs to MLPs via prototypes in an edge-free setting. Experimental results on popular graph benchmarks demonstrate the effectiveness and robustness of the proposed PGKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google