Structure-Aware Group Discrimination with Adaptive-View Graph Encoder: A Fast Graph Contrastive Learning Framework

要約

最近大きな進歩を遂げたとはいえ、大規模なグラフ表現学習は、主に次の 2 つの理由でトレーニングと展開に費用がかかります。(i) グラフ ニューラル ネットワーク (GNN) におけるマルチホップ メッセージ パッシングと非線形性の反復計算
(ii) 複雑なペアごとの対照的な学習損失の計算コスト。
この 2 つの課題を対象としたこの論文では、主に 2 つの貢献がなされています。最初に、フォワード パス計算を高速化するために限られた数のメッセージ パッシングを使用する適応ビュー グラフ ニューラル エンコーダー (AVGE) を提案し、次に、構造を認識したグループ識別を提案します。
最も一般的な GCL で非効率なペアワイズ ロス コンピューティングを回避し、単純なグループ識別のパフォーマンスを向上させるフレームワークの (SAGD) ロス。
提案されたフレームワークにより、ダウンストリーム タスクのパフォーマンスを損なうことなく、さまざまな大規模なデータセットのトレーニングと推論のコストを大幅に (250 倍高速な推論時間) 削減することができました。

要約(オリジナル)

Albeit having gained significant progress lately, large-scale graph representation learning remains expensive to train and deploy for two main reasons: (i) the repetitive computation of multi-hop message passing and non-linearity in graph neural networks (GNNs); (ii) the computational cost of complex pairwise contrastive learning loss. Two main contributions are made in this paper targeting this twofold challenge: we first propose an adaptive-view graph neural encoder (AVGE) with a limited number of message passing to accelerate the forward pass computation, and then we propose a structure-aware group discrimination (SAGD) loss in our framework which avoids inefficient pairwise loss computing in most common GCL and improves the performance of the simple group discrimination. By the framework proposed, we manage to bring down the training and inference cost on various large-scale datasets by a significant margin (250x faster inference time) without loss of the downstream-task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google