Multiplex Graph Contrastive Learning with Soft Negatives

要約

グラフ対照学習 (GCL) は、グラフ構造化されたデータから最大限の一貫した情報を含む節点またはグラフ表現を学習しようとします。
ノードレベルの対照モードが主流ですが、さまざまなスケール間での一貫性を探るための取り組みも始まって​​います。
しかし、一貫した情報が失われ、不穏な機能によって汚染される傾向があります。
ここでは、多重表現を効果的なパッチとして利用する新しいスケール間対比学習パラダイムである MUX-GCL を紹介します。
この学習モードは汚染ノイズを最小限に抑えますが、位置類似性を使用した適切な対比戦略により、スケール全体で偽陰性ペアを修正することで情報損失をさらに回避します。
広範なダウンストリーム実験により、MUX-GCL が公開データセットに対して複数の最先端の結果をもたらすことが実証されました。
私たちの理論分析は、生の入力特徴と出力埋め込みの相互情報量のより厳密な下限として新しい目的関数をさらに保証し、このパラダイムを合理化します。
コードは https://github.com/MUX-GCL/Code で入手できます。

要約(オリジナル)

Graph Contrastive Learning (GCL) seeks to learn nodal or graph representations that contain maximal consistent information from graph-structured data. While node-level contrasting modes are dominating, some efforts commence to explore consistency across different scales. Yet, they tend to lose consistent information and be contaminated by disturbing features. Here, we introduce MUX-GCL, a novel cross-scale contrastive learning paradigm that utilizes multiplex representations as effective patches. While this learning mode minimizes contaminating noises, a commensurate contrasting strategy using positional affinities further avoids information loss by correcting false negative pairs across scales. Extensive downstream experiments demonstrate that MUX-GCL yields multiple state-of-the-art results on public datasets. Our theoretical analysis further guarantees the new objective function as a stricter lower bound of mutual information of raw input features and output embeddings, which rationalizes this paradigm. Code is available at https://github.com/MUX-GCL/Code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google