ContraNorm: A Contrastive Learning Perspective on Oversmoothing and Beyond

要約

タイトル： 「ContraNorm: Oversmoothing と超越的な視点でのコントラスティブラーニング」
要約：
– GNNやTransformerなど、様々なグラフニューラルネットワークにおいて、レイヤー数が増えるにつれ、パフォーマンスが悪化することがある現象が「oversmoothing」である。
– 「oversmoothing」の原因を、表現が単一の点に収束する完全崩壊という視点ではなく、表現が狭い錐内にある次元の崩壊というより一般的な視点から解釈する。
– 「ContraNorm」という新しい正則化層を提案し、コントラスティブラーニングの有効性に着想を得たアプローチを取っている。
– ContraNormは、埋め込み空間で表現を均等に分布させ、より一様な分布と少しの次元の崩壊をもたらす。
– 実験結果から、ContraNormはGNNやTransformerに容易に統合可能で、パラメーターオーバーヘッドがほとんどないことが示されている。
– ContraNormは、特定の条件下で完全崩壊と次元の崩壊の両方を軽減できることが理論的に証明されている。
– 実験ではいくつかの実世界のデータセット上で、提案されたContraNormの有効性が示されており、その実装はhttps://github.com/PKU-ML/ContraNormで利用可能である。

要約(オリジナル)

Oversmoothing is a common phenomenon in a wide range of Graph Neural Networks (GNNs) and Transformers, where performance worsens as the number of layers increases. Instead of characterizing oversmoothing from the view of complete collapse in which representations converge to a single point, we dive into a more general perspective of dimensional collapse in which representations lie in a narrow cone. Accordingly, inspired by the effectiveness of contrastive learning in preventing dimensional collapse, we propose a novel normalization layer called ContraNorm. Intuitively, ContraNorm implicitly shatters representations in the embedding space, leading to a more uniform distribution and a slighter dimensional collapse. On the theoretical analysis, we prove that ContraNorm can alleviate both complete collapse and dimensional collapse under certain conditions. Our proposed normalization layer can be easily integrated into GNNs and Transformers with negligible parameter overhead. Experiments on various real-world datasets demonstrate the effectiveness of our proposed ContraNorm. Our implementation is available at https://github.com/PKU-ML/ContraNorm.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI