Train Your Own GNN Teacher: Graph-Aware Distillation on Textual Graphs

要約

【タイトル】自分自身のGNN教師をトレーニングする方法：テキストグラフのグラフ・アウェア蒸留

【要約】
– テキストグラフの効果的なノード表現を学習する方法は？
– テキスト情報をグラフ表現にエンコードするためにLMsを使用するGNNは、多くのノード分類タスクで最先端の性能を発揮している
– しかし、GNNをLMと組み合わせて実用的に活用することは、拡張性の問題から広く探求されていない
– 本研究では、グラフ構造をLMにエンコードするGraph-Aware蒸留フレームワーク（GRAD）を開発することにより、この課題に取り組む
– 伝統的な知識蒸留とは異なり、GRADはGNN教師とグラフフリー学生の両方を共有LMを介してノードに最適化することで、グラフフリーの高速な推論を可能にする
– GRADは、GNN教師がエンコードしたグラフ情報を利用するようにグラフフリー学生を奨励する一方、GNN教師が未ラベルのノードからテキスト情報をよりよく利用できるようにする
– 結果として、教師と学生モデルはお互いから学び合い、全体的な性能が向上する
– 転移および内在的な設定で8つのノード分類ベンチマークでの実験は、テキストグラフの既存の蒸留手法よりもGRADの優位性を示している

要約(オリジナル)

How can we learn effective node representations on textual graphs? Graph Neural Networks (GNNs) that use Language Models (LMs) to encode textual information of graphs achieve state-of-the-art performance in many node classification tasks. Yet, combining GNNs with LMs has not been widely explored for practical deployments due to its scalability issues. In this work, we tackle this challenge by developing a Graph-Aware Distillation framework (GRAD) to encode graph structures into an LM for graph-free, fast inference. Different from conventional knowledge distillation, GRAD jointly optimizes a GNN teacher and a graph-free student over the graph’s nodes via a shared LM. This encourages the graph-free student to exploit graph information encoded by the GNN teacher while at the same time, enables the GNN teacher to better leverage textual information from unlabeled nodes. As a result, the teacher and the student models learn from each other to improve their overall performance. Experiments in eight node classification benchmarks in both transductive and inductive settings showcase GRAD’s superiority over existing distillation approaches for textual graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI