ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification

要約

タイトル：ImGCL：不均衡なノード分類におけるグラフ対比学習の見直し

要約：

– Graph contrastive learning（GCL）は、ラベルがないノード/グラフ表現を学習するための卓越した性能により、注目を集めています。
– しかし、実際には、与えられたグラフのラベルがないノードの潜在的なクラス分布は通常不均衡です。この高度に不均衡なクラス分布は、GCLで学習されたノード表現の品質を必然的に低下させます。
– 事実、最新のGCL方法のほとんどは、識別的表現を得ることができず、不均衡なノード分類において性能が低下することが経験的に明らかになっています。
– この観察からの動機付けを受けて、我々はImbalanced node classification（ImGCL）の原理的なGCLフレームワークを提案しています。これは、ラベルのないGCLから自動的に、適応的にバランスのとれた表現を得ることができます。
– 具体的には、まず、理論的根拠を持つオンラインクラスタリングベースのプログレッシブバランスサンプリング（PBS）法を導入し、GCLで学習された表現から疑似ラベルを取得してトレーニングセットをバランスさせます。
– 次に、グラフの固有の構造を保存するために、重要なノードを重み付けするノード中心性に基づくPBS法を開発します。
– 複数の不均衡なグラフデータセットや不均衡な設定での広範囲な実験は、提案されたフレームワークの有効性を実証しており、最近の最先端のGCL方法の性能を大幅に改善しています。
– さらに、実験的な消去法と分析により、ImGCLフレームワークが、低表現（テール）クラスのノードの表現品質を一貫して改善することが示されています。

要約(オリジナル)

Graph contrastive learning (GCL) has attracted a surge of attention due to its superior performance for learning node/graph representations without labels. However, in practice, the underlying class distribution of unlabeled nodes for the given graph is usually imbalanced. This highly imbalanced class distribution inevitably deteriorates the quality of learned node representations in GCL. Indeed, we empirically find that most state-of-the-art GCL methods cannot obtain discriminative representations and exhibit poor performance on imbalanced node classification. Motivated by this observation, we propose a principled GCL framework on Imbalanced node classification (ImGCL), which automatically and adaptively balances the representations learned from GCL without labels. Specifically, we first introduce the online clustering based progressively balanced sampling (PBS) method with theoretical rationale, which balances the training sets based on pseudo-labels obtained from learned representations in GCL. We then develop the node centrality based PBS method to better preserve the intrinsic structure of graphs, by upweighting the important nodes of the given graph. Extensive experiments on multiple imbalanced graph datasets and imbalanced settings demonstrate the effectiveness of our proposed framework, which significantly improves the performance of the recent state-of-the-art GCL methods. Further experimental ablations and analyses show that the ImGCL framework consistently improves the representation quality of nodes in under-represented (tail) classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI