ABKD: Graph Neural Network Compression with Attention-Based Knowledge Distillation

要約

グラフ ニューラル ネットワーク (GNN) は、レコメンデーション システム、フェイク ニュース検出、創薬、さらにはコンピューター ビジョンなど、さまざまなアプリケーションに非常に多用途であることが証明されています。
グラフ構造データのサイズが拡大しているため、GNN モデルも複雑になり、大幅なレイテンシーの問題が発生しています。
これは主に、グラフ データの不規則な構造とメモリへのアクセス パターンに起因します。
レイテンシを短縮するための自然な解決策は、大きな GNN を小さな GNN に圧縮することです。
これを行う 1 つの方法は、知識蒸留 (KD) によるものです。
ただし、GNN に対するほとんどの KD アプローチは、最後の層の出力のみを考慮し、GNN の中間層の出力は考慮しません。
これらの層には、グラフ構造によって示される重要な誘導バイアスが含まれている可能性があります。
この欠点に対処するために、私たちは、Attention-Based Knowledge Distillation (ABKD) と呼ぶ、GNN 圧縮に対する新しい KD アプローチを提案します。
ABKD は、注意を払って中間の教師と生徒のレイヤーの重要なペアを特定し、その出力を調整することに重点を置く KD アプローチです。
ABKD は、既存の KD アプローチと比較して精度の低下が少なく、GNN をより高度に圧縮できます。
大規模なグラフ データセットである OGBN-Mag では、最先端のアプローチと比較して、32.3 倍の圧縮率で平均 1.79% の精度の向上を達成しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have proven to be quite versatile for a variety of applications, including recommendation systems, fake news detection, drug discovery, and even computer vision. Due to the expanding size of graph-structured data, GNN models have also increased in complexity, leading to substantial latency issues. This is primarily attributed to the irregular structure of graph data and its access pattern into memory. The natural solution to reduce latency is to compress large GNNs into small GNNs. One way to do this is via knowledge distillation (KD). However, most KD approaches for GNNs only consider the outputs of the last layers and do not consider the outputs of the intermediate layers of the GNNs; these layers may contain important inductive biases indicated by the graph structure. To address this shortcoming, we propose a novel KD approach to GNN compression that we call Attention-Based Knowledge Distillation (ABKD). ABKD is a KD approach that uses attention to identify important intermediate teacher-student layer pairs and focuses on aligning their outputs. ABKD enables higher compression of GNNs with a smaller accuracy dropoff compared to existing KD approaches. On average, we achieve a 1.79% increase in accuracy with a 32.3x compression ratio on OGBN-Mag, a large graph dataset, compared to state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google