要約
最近の研究では、教師グラフ ニューラル ネットワーク (GNN) からの知識蒸留 (KD) によって学生 MLP をトレーニングすることにより、多層パーセプトロン (MLP) を利用してグラフ上の半教師ありノード分類を解決することが試みられました。
これまでの研究は主に、KD 中に教師モデルと学生モデルの間の出力確率分布を一致させることによって学生 MLP をトレーニングすることに焦点を当ててきましたが、明示的かつ解釈可能な方法で構造情報を注入する方法については系統的に研究されていませんでした。
特徴変換 $T$ と伝播 $\Pi$ を分離する GNN に触発されて、学生 MLP が $T$ と $\Pi$ の両方を明示的に学習できるように KD プロセスを再構築しました。
これは教師 GNN からの蒸留の前に逆伝播 $\Pi^{-1}$ を適用することで実現できますが、それでもトレーニング中の大規模な行列乗算による高い計算コストが伴います。
この問題を解決するために、教師 GNN の出力を KD の前に伝播し、逆伝播 $\Pi^{-1}$ の近似プロセスとして解釈できる Propagate & Distill (P&D) を提案します。
現実世界のベンチマーク データセットを使用した包括的な評価を通じて、学生 MLP のパフォーマンスがさらに向上することを示し、P&D の有効性を実証します。
要約(オリジナル)
Recent studies attempted to utilize multilayer perceptrons (MLPs) to solve semi-supervised node classification on graphs, by training a student MLP by knowledge distillation (KD) from a teacher graph neural network (GNN). While previous studies have focused mostly on training the student MLP by matching the output probability distributions between the teacher and student models during KD, it has not been systematically studied how to inject the structural information in an explicit and interpretable manner. Inspired by GNNs that separate feature transformation $T$ and propagation $\Pi$, we re-frame the KD process as enabling the student MLP to explicitly learn both $T$ and $\Pi$. Although this can be achieved by applying the inverse propagation $\Pi^{-1}$ before distillation from the teacher GNN, it still comes with a high computational cost from large matrix multiplications during training. To solve this problem, we propose Propagate & Distill (P&D), which propagates the output of the teacher GNN before KD and can be interpreted as an approximate process of the inverse propagation $\Pi^{-1}$. Through comprehensive evaluations using real-world benchmark datasets, we demonstrate the effectiveness of P&D by showing further performance boost of the student MLP.
arxiv情報
| 著者 | Yong-Min Shin,Won-Yong Shin |
| 発行日 | 2023-11-20 13:39:19+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google