Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning

要約

対照学習は、グラフ自己教師あり学習における重要なパラダイムです。
ただし、モデルの崩壊を防ぎ、識別表現を学習するには、負のサンプルが必要です。
これらの負のサンプルは必然的に大量の計算、メモリ オーバーヘッド、クラス衝突を引き起こし、表現学習を損ないます。
最近の研究では、ネガティブ サンプルを回避する方法により、ブートストラップ グラフ 潜在 (BGRL) に代表される競争力のあるパフォーマンスとスケーラビリティの向上が達成できることが示されています。
ただし、BGRL は、基礎となる正のペアに関する貴重な洞察を提供する固有のグラフの同質性を無視します。
私たちの動機は、いくつかのグラウンドトゥルースのポジティブペアを微妙に導入することで BGRL が大幅に改善されるという観察から生じています。
自己教師あり設定では、ラベルなしでグラウンドトゥルースの正のペアを取得することはできませんが、グラフのエッジはノイズの多い正のペアを反映する可能性があります。つまり、隣接するノードが同じラベルを共有することがよくあります。
したがって、ノードと隣接ノードのペアを含むポジティブペアセットを拡張することを提案します。
続いて、アンカー ノードに関する近隣ノードの支持スコアを予測するクロスアテンション モジュールを導入します。
このスコアは、各隣接ノードからの積極的なサポートを定量化し、トレーニング目標にエンコードされます。
その結果、私たちの方法は、負のサンプルとノイズの多い正のサンプルからのクラス衝突を軽減し、同時にクラス内のコンパクト性を高めます。
5 つのベンチマーク データセットと 3 つの下流タスクのノード分類、ノード クラスタリング、およびノー​​ド類似性検索について広範な実験が行われています。
結果は、私たちの方法がクラス内コンパクト性を高めたノード表現を生成し、最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Contrastive learning is a significant paradigm in graph self-supervised learning. However, it requires negative samples to prevent model collapse and learn discriminative representations. These negative samples inevitably lead to heavy computation, memory overhead and class collision, compromising the representation learning. Recent studies present that methods obviating negative samples can attain competitive performance and scalability enhancements, exemplified by bootstrapped graph latents (BGRL). However, BGRL neglects the inherent graph homophily, which provides valuable insights into underlying positive pairs. Our motivation arises from the observation that subtly introducing a few ground-truth positive pairs significantly improves BGRL. Although we can’t obtain ground-truth positive pairs without labels under the self-supervised setting, edges in the graph can reflect noisy positive pairs, i.e., neighboring nodes often share the same label. Therefore, we propose to expand the positive pair set with node-neighbor pairs. Subsequently, we introduce a cross-attention module to predict the supportiveness score of a neighbor with respect to the anchor node. This score quantifies the positive support from each neighboring node, and is encoded into the training objective. Consequently, our method mitigates class collision from negative and noisy positive samples, concurrently enhancing intra-class compactness. Extensive experiments are conducted on five benchmark datasets and three downstream task node classification, node clustering, and node similarity search. The results demonstrate that our method generates node representations with enhanced intra-class compactness and achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google