AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange

要約

グラフ ニューラル ネットワーク (GNN) は、さまざまなグラフ マイニング タスクですでに広く使用されています。
しかし、最近の研究では、よく訓練された GNN で学習された重み (チャネル) は非常に冗長であり、それが GNN のパフォーマンスを必然的に制限することが明らかになりました。
効率を考慮してこれらの冗長チャネルを削除するのではなく、それらを再アクティブ化して、効果的なグラフ学習のために GNN の表現能力を拡大することを目指しています。
この文書では、この目標を達成するために、これらの冗長チャネルを他の情報チャネルで置き換えることを提案します。
AKE-GNN という名前の新しい GNN 学習フレームワークを紹介します。これは、グラフ拡張によって生成された複数のグラフ ビュー間で適応型知識交換戦略を実行します。
AKE-GNN は、最初に 1 つのグラフ ビューにそれぞれ対応する複数の GNN をトレーニングして、情報チャネルを取得します。
次に、AKE-GNN は、1 つの GNN の重みパラメータ行列内の冗長チャネルと、別の GNN の情報チャネルを層ごとに繰り返し交換します。
さらに、既存の GNN をフレームワークにシームレスに組み込むことができます。
AKE-GNN は、ノード分類、リンク予測、グラフ分類に関する一連の実験全体にわたって、さまざまなベースラインと比較して優れたパフォーマンスを実現します。
特に、15 の公開ベンチマーク データセット、8 つの人気のある GNN モデル、および 3 つのグラフ タスクに対して一連の実験を実施し、AKE-GNN が既存の人気のある GNN モデル、さらにはそのアンサンブルよりも一貫して優れていることを示します。
広範なアブレーション研究と知識交換方法に関する分析により、AKE-GNN の有効性が検証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) have already been widely used in various graph mining tasks. However, recent works reveal that the learned weights (channels) in well-trained GNNs are highly redundant, which inevitably limits the performance of GNNs. Instead of removing these redundant channels for efficiency consideration, we aim to reactivate them to enlarge the representation capacity of GNNs for effective graph learning. In this paper, we propose to substitute these redundant channels with other informative channels to achieve this goal. We introduce a novel GNN learning framework named AKE-GNN, which performs the Adaptive Knowledge Exchange strategy among multiple graph views generated by graph augmentations. AKE-GNN first trains multiple GNNs each corresponding to one graph view to obtain informative channels. Then, AKE-GNN iteratively exchanges redundant channels in the weight parameter matrix of one GNN with informative channels of another GNN in a layer-wise manner. Additionally, existing GNNs can be seamlessly incorporated into our framework. AKE-GNN achieves superior performance compared with various baselines across a suite of experiments on node classification, link prediction, and graph classification. In particular, we conduct a series of experiments on 15 public benchmark datasets, 8 popular GNN models, and 3 graph tasks and show that AKE-GNN consistently outperforms existing popular GNN models and even their ensembles. Extensive ablation studies and analyses on knowledge exchange methods validate the effectiveness of AKE-GNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google