Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation

要約

知識蒸留 (KD) は、グラフ ニューラル ネットワーク (GNN) のパフォーマンスを向上させるのに効果的であることが示されています。一般的な目的は、より深い教師 GNN からより浅い生徒 GNN に知識を蒸留することです。
ただし、よく知られている過剰なパラメータ化と過剰な平滑化の問題により、満足のいくより深い GNN をトレーニングすることは非常に困難であり、実際のアプリケーションでは無効な知識の伝達につながります。
この論文では、FreeKD と呼ばれる GNN の強化学習による最初の自由方向知識蒸留フレームワークを提案します。これは、より深く適切に最適化された教師 GNN を提供する必要がなくなりました。
私たちの中心的なアイデアは、2 つのより浅い GNN を協力して学習し、それらの間で知識を交換することです。
1 つの典型的な GNN モデルがトレーニング中にさまざまなノードで良いパフォーマンスと悪いパフォーマンスを示すことが多いことが観察されるため、2 つのレベルのアクションを含む動的かつ自由方向の知識伝達戦略を考案します。 1) ノードレベルのアクションは知識伝達の方向を決定します。
2 つのネットワークの対応するノード間。
次に、2) 構造レベルのアクションは、ノードレベルのアクションによって生成されたローカル構造のどれを伝播するかを決定します。
さらに、異なる拡張グラフがグラフデータの異なる視点を潜在的にキャプチャできることを考慮して、さまざまな知識を交換するための迅速な学習に基づいて、歪みのない多様な拡張を学習するFreeKD-Promptを提案します。
さらに、知識交換を 2 つの GNN 内に限定するのではなく、複数の GNN 間で自由方向の知識伝達を可能にする FreeKD++ を開発しました。
5 つのベンチマーク データセットに対する広範な実験により、私たちのアプローチが基本 GNN を大幅に上回るパフォーマンスを示しています。
さらに驚くべきことに、当社の FreeKD は、より深く強力な教師 GNN から知識を抽出する従来の KD アルゴリズムと同等、またはそれ以上のパフォーマンスを備えています。

要約(オリジナル)

Knowledge distillation (KD) has shown to be effective to boost the performance of graph neural networks (GNNs), where the typical objective is to distill knowledge from a deeper teacher GNN into a shallower student GNN. However, it is often quite challenging to train a satisfactory deeper GNN due to the well-known over-parametrized and over-smoothing issues, leading to invalid knowledge transfer in practical applications. In this paper, we propose the first Free-direction Knowledge Distillation framework via reinforcement learning for GNNs, called FreeKD, which is no longer required to provide a deeper well-optimized teacher GNN. Our core idea is to collaboratively learn two shallower GNNs to exchange knowledge between them. As we observe that one typical GNN model often exhibits better and worse performances at different nodes during training, we devise a dynamic and free-direction knowledge transfer strategy that involves two levels of actions: 1) node-level action determines the directions of knowledge transfer between the corresponding nodes of two networks; and then 2) structure-level action determines which of the local structures generated by the node-level actions to be propagated. Additionally, considering that different augmented graphs can potentially capture distinct perspectives of the graph data, we propose FreeKD-Prompt that learns undistorted and diverse augmentations based on prompt learning for exchanging varied knowledge. Furthermore, instead of confining knowledge exchange within two GNNs, we develop FreeKD++ to enable free-direction knowledge transfer among multiple GNNs. Extensive experiments on five benchmark datasets demonstrate our approaches outperform the base GNNs in a large margin. More surprisingly, our FreeKD has comparable or even better performance than traditional KD algorithms that distill knowledge from a deeper and stronger teacher GNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google