Graph Soft-Contrastive Learning via Neighborhood Ranking

要約

グラフ対照学習 (GCL) は、グラフ自己教師あり学習の分野における有望なアプローチとして浮上しています。
一般的な GCL 手法は主に、コンピューター ビジョンの分野における対比学習の原理、つまり完全に類似したペアを指定することによる不変性のモデリングに基づいています。
ただし、このパラダイムをグラフ データに適用すると、次の 2 つの重大な制限に遭遇します。(1) 生成されたビューの有効性は保証できません。グラフの摂動により、グラフ データのセマンティクスおよび固有のトポロジに対して無効なビューが生成される可能性があります。
(2) グラフ ビューで完全に類似したペアを指定することは信頼できません。抽象的な非ユークリッド グラフ データの場合、人間が絶対的な類似性と非類似性を直感的に判断することは困難です。
現在の GCL 手法の顕著なパフォーマンスにもかかわらず、これらの課題により再評価が必要です。単にコンピュータ ビジョンの原理を採用するのではなく、GCL をグラフの本質的な特性に合わせてより効果的に調整できないか?
この質問に応えて、私たちは新しいパラダイムであるグラフ ソフトコントラスト学習 (GSCL) を提案します。
このアプローチにより、近傍ランキングによる GCL が容易になり、完全に類似したペアを指定する必要がなくなります。
GSCL は、ラベルの一貫性が減少するという基本的なグラフの特性を活用し、グラフ内で近いノードの方が、遠く離れたノードよりも全体的に類似していると主張します。
GSCL フレームワーク内で、ペアごとおよびリストごとのゲート ランキング InfoNCE 損失関数を導入して、近傍内の相対類似性ランキングを効果的に保存します。
さらに、より多くのホップを考慮すると近傍サイズが指数関数的に拡大するため、学習効率を向上させる近傍サンプリング戦略を提案します。
8 つの同型グラフと 3 つの異型グラフを含む、一般的に使用される 11 個のグラフ データセットにわたる広範な実証結果は、20 個の SOTA GCL メソッドと比較して GSCL の優れたパフォーマンスを実証しています。

要約(オリジナル)

Graph Contrastive Learning (GCL) has emerged as a promising approach in the realm of graph self-supervised learning. Prevailing GCL methods mainly derive from the principles of contrastive learning in the field of computer vision: modeling invariance by specifying absolutely similar pairs. However, when applied to graph data, this paradigm encounters two significant limitations: (1) the validity of the generated views cannot be guaranteed: graph perturbation may produce invalid views against semantics and intrinsic topology of graph data; (2) specifying absolutely similar pairs in the graph views is unreliable: for abstract and non-Euclidean graph data, it is difficult for humans to decide the absolute similarity and dissimilarity intuitively. Despite the notable performance of current GCL methods, these challenges necessitate a reevaluation: Could GCL be more effectively tailored to the intrinsic properties of graphs, rather than merely adopting principles from computer vision? In response to this query, we propose a novel paradigm, Graph Soft-Contrastive Learning (GSCL). This approach facilitates GCL via neighborhood ranking, avoiding the need to specify absolutely similar pairs. GSCL leverages the underlying graph characteristic of diminishing label consistency, asserting that nodes that are closer in the graph are overall more similar than far-distant nodes. Within the GSCL framework, we introduce pairwise and listwise gated ranking InfoNCE loss functions to effectively preserve the relative similarity ranking within neighborhoods. Moreover, as the neighborhood size exponentially expands with more hops considered, we propose neighborhood sampling strategies to improve learning efficiency. Our extensive empirical results across 11 commonly used graph datasets-including 8 homophily graphs and 3 heterophily graphs-demonstrate GSCL’s superior performance compared to 20 SOTA GCL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google