VQGraph: Graph Vector-Quantization for Bridging GNNs and MLPs

要約

グラフ・ニューラル・ネットワーク（GNN）は、ノードの表現を更新するためにローカルな近傍関係を集約するメッセージパッシングを行う。このようなメッセージパッシングは、待ち時間に制約のある実用的なアプリケーションではスケーラビリティの問題につながる。この問題に対処するため、最近の手法では知識蒸留（KD）を採用し、GNNの出力を模倣することで計算効率の高い多層パーセプトロン（MLP）を学習する。しかし、既存のGNN表現空間は、基礎となるグラフの多様な局所構造を表現するのに十分な表現力を持たない可能性があり、GNNからMLPへの知識伝達を制限している。ここでは、GNNとMLPの橋渡しをするための強力なグラフ表現空間を学習する新しいフレームワークVQGraphを紹介する。構造を考慮したグラフトークナイザとして、ベクトル量子化変分オートエンコーダ（VQ-VAE）のエンコーダを採用し、多様な局所構造のノードを多数の離散トークンとして明示的に表現し、意味のあるコードブックを構成する。学習されたコードブックを用いて、GNNからMLPへの構造的知識の伝達を十分に行うために、ソフトトークン割り当てに基づく新しいトークンベースの蒸留目的を提案する。広範な実験と分析により、VQGraphの強力な性能が実証され、7つのグラフデータセットにおいて、GNN-MLPの蒸留において、帰納的な設定と帰納的な設定の両方で、最新の性能を達成した。より優れた性能を持つVQGraphは、GNNよりも828倍高速に推論を行い、またGNNや単体のMLPよりもそれぞれ平均3.90%、28.05%の精度向上を達成していることを示す。コード: https://github.com/YangLing0818/VQGraph.

要約(オリジナル)

Graph Neural Networks (GNNs) conduct message passing which aggregates local neighbors to update node representations. Such message passing leads to scalability issues in practical latency-constrained applications. To address this issue, recent methods adopt knowledge distillation (KD) to learn computationally-efficient multi-layer perceptron (MLP) by mimicking the output of GNN. However, the existing GNN representation space may not be expressive enough for representing diverse local structures of the underlying graph, which limits the knowledge transfer from GNN to MLP. Here we present a novel framework VQGraph to learn a powerful graph representation space for bridging GNNs and MLPs. We adopt the encoder of a variant of a vector-quantized variational autoencoder (VQ-VAE) as a structure-aware graph tokenizer, which explicitly represents the nodes of diverse local structures as numerous discrete tokens and constitutes a meaningful codebook. Equipped with the learned codebook, we propose a new token-based distillation objective based on soft token assignments to sufficiently transfer the structural knowledge from GNN to MLP. Extensive experiments and analyses demonstrate the strong performance of VQGraph, where we achieve new state-of-the-art performance on GNN-MLP distillation in both transductive and inductive settings across seven graph datasets. We show that VQGraph with better performance infers faster than GNNs by 828x, and also achieves accuracy improvement over GNNs and stand-alone MLPs by 3.90% and 28.05% on average, respectively. Code: https://github.com/YangLing0818/VQGraph.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL