VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs

要約

GNN から MLP への蒸留は、知識蒸留 (KD) を利用して、教師 GNN の出力表現を模倣することにより、グラフ データ上で計算効率の高い多層パーセプトロン (スチューデント MLP) を学習することを目的としています。
既存のメソッドは主に、MLP にいくつかのクラス ラベルにわたって GNN 予測を模倣させます。
ただし、クラス空間は多数の多様なローカル グラフ構造をカバーするには十分な表現力がない可能性があるため、GNN から MLP への知識伝達のパフォーマンスが制限されます。
この問題に対処するために、GNN から MLP への蒸留のためにノードの多様なローカル構造を直接ラベル付けすることにより、新しい強力なグラフ表現空間を学習することを提案します。
具体的には、各ノードのローカル部分構造を離散コードとしてエンコードできるグラフ データ上の構造認識トークナイザーを学習する VQ-VAE のバリアントを提案します。
離散コードは、対応するコード インデックスを持つノードのさまざまなローカル グラフ構造を識別できる新しいグラフ表現空間としてコードブックを構成します。
次に、学習されたコードブックに基づいて、各ノードの構造知識を GNN から MLP に直接転送するための新しい蒸留ターゲット、つまりソフト コード割り当てを提案します。
結果として得られるフレームワーク VQGraph は、7 つのグラフ データセットにわたる変換設定と帰納設定の両方で、GNN から MLP への蒸留において新しい最先端のパフォーマンスを実現します。
パフォーマンスの優れた VQGraph は GNN よりも 828 倍高速に推論し、GNN とスタンドアロン MLP よりも平均でそれぞれ 3.90% と 28.05% 精度が向上することを示します。
コード: https://github.com/YangLing0818/VQGraph。

要約(オリジナル)

GNN-to-MLP distillation aims to utilize knowledge distillation (KD) to learn computationally-efficient multi-layer perceptron (student MLP) on graph data by mimicking the output representations of teacher GNN. Existing methods mainly make the MLP to mimic the GNN predictions over a few class labels. However, the class space may not be expressive enough for covering numerous diverse local graph structures, thus limiting the performance of knowledge transfer from GNN to MLP. To address this issue, we propose to learn a new powerful graph representation space by directly labeling nodes’ diverse local structures for GNN-to-MLP distillation. Specifically, we propose a variant of VQ-VAE to learn a structure-aware tokenizer on graph data that can encode each node’s local substructure as a discrete code. The discrete codes constitute a codebook as a new graph representation space that is able to identify different local graph structures of nodes with the corresponding code indices. Then, based on the learned codebook, we propose a new distillation target, namely soft code assignments, to directly transfer the structural knowledge of each node from GNN to MLP. The resulting framework VQGraph achieves new state-of-the-art performance on GNN-to-MLP distillation in both transductive and inductive settings across seven graph datasets. We show that VQGraph with better performance infers faster than GNNs by 828x, and also achieves accuracy improvement over GNNs and stand-alone MLPs by 3.90% and 28.05% on average, respectively. Code: https://github.com/YangLing0818/VQGraph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google