TSC: A Simple Two-Sided Constraint against Over-Smoothing

要約

グラフ畳み込みニューラル ネットワーク (GCN) は、リレーショナル データの分析に広く採用されている手法であり、隣接する情報を集約することでノードの識別能力を高めます。
通常、複数のレイヤーをスタックすると、上位の隣接レイヤーからの情報を活用して GCN のパフォーマンスを向上させることができます。
ただし、ネットワークの深さが増加すると、過度の平滑化の問題が発生します。これは、隣接ノードの質と量の変化に起因すると考えられます。 (a) 隣接ノードの品質、ノードの隣接ノードが高次で重なり合い、集約された情報が区別できなくなります。
(b) 近傍量。指数関数的に増加する集約された近傍は、再帰的に集約操作を行うことによってノードの初期フィーチャを沈めます。
現在の解決策は主に上記の原因のいずれかに焦点を当てており、両方を同時に考慮することはほとんどありません。
過度の平滑化の両方の原因に一度で対処することを目的として、ランダム マスキングとコントラスト制約という 2 つの直接的かつ強力な手法で構成される、GCN 用の単純な両面制約 (TSC) を導入します。
ランダム マスキングは表現行列の列に作用して、近隣からの情報集約の度合いを調整し、ノード表現の収束を防ぎます。
一方、表現行列の行に適用される対照的な制約により、ノードの識別性が向上します。
TSC はプラグイン モジュールとして設計されており、GCN または SGC アーキテクチャと簡単に結合できます。
現実世界の多様なグラフ データセットの実験分析により、私たちのアプローチがノードの表現の収束とより深い GCN でのパフォーマンスの低下を大幅に軽減することが確認されました。

要約(オリジナル)

Graph Convolutional Neural Network (GCN), a widely adopted method for analyzing relational data, enhances node discriminability through the aggregation of neighboring information. Usually, stacking multiple layers can improve the performance of GCN by leveraging information from high-order neighbors. However, the increase of the network depth will induce the over-smoothing problem, which can be attributed to the quality and quantity of neighbors changing: (a) neighbor quality, node’s neighbors become overlapping in high order, leading to aggregated information becoming indistinguishable, (b) neighbor quantity, the exponentially growing aggregated neighbors submerges the node’s initial feature by recursively aggregating operations. Current solutions mainly focus on one of the above causes and seldom consider both at once. Aiming at tackling both causes of over-smoothing in one shot, we introduce a simple Two-Sided Constraint (TSC) for GCNs, comprising two straightforward yet potent techniques: random masking and contrastive constraint. The random masking acts on the representation matrix’s columns to regulate the degree of information aggregation from neighbors, thus preventing the convergence of node representations. Meanwhile, the contrastive constraint, applied to the representation matrix’s rows, enhances the discriminability of the nodes. Designed as a plug-in module, TSC can be easily coupled with GCN or SGC architectures. Experimental analyses on diverse real-world graph datasets verify that our approach markedly reduces the convergence of node’s representation and the performance degradation in deeper GCN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google