Alignment and Outer Shell Isotropy for Hyperbolic Graph Contrastive Learning

要約

下流のタスクに有益な、優れた自己教師ありグラフ表現を学習することは困難です。
さまざまな方法の中でも、対照学習は優れたパフォーマンスを発揮します。
対照学習の埋め込みは、ユークリッド空間でのコサイン距離測定を可能にする超球面上に配置されます。
ただし、グラフなどの多くのドメインの基礎となる構造は、高度に非ユークリッドの潜在幾何学を示します。
この目的を達成するために、高品質なグラフ埋め込みを学習するための新しい対照学習フレームワークを提案します。
具体的には、階層的なデータ不変情報を効果的に取得するアライメントメトリックを設計するとともに、いわゆる次元崩壊を防ぐための均一性メトリックの代替を提案します。
双曲空間では木の特性に関連する葉レベルと高さレベルの均一性に対処する必要があるが、双曲多様体の周囲空間ではこれらの概念がポアンカールの境界に向かって等方性のリング密度を課すことになることを示します。
ボールです。
このリング密度は、多様体の接線空間上の等方性特徴分布を促進することによって簡単に課すことができます。
実験では、教師あり学習設定と自己教師あり学習設定の両方で、さまざまな双曲線グラフ埋め込み手法にわたって提案した方法の有効性を実証します。

要約(オリジナル)

Learning good self-supervised graph representations that are beneficial to downstream tasks is challenging. Among a variety of methods, contrastive learning enjoys competitive performance. The embeddings of contrastive learning are arranged on a hypersphere that enables the Cosine distance measurement in the Euclidean space. However, the underlying structure of many domains such as graphs exhibits highly non-Euclidean latent geometry. To this end, we propose a novel contrastive learning framework to learn high-quality graph embedding. Specifically, we design the alignment metric that effectively captures the hierarchical data-invariant information, as well as we propose a substitute of uniformity metric to prevent the so-called dimensional collapse. We show that in the hyperbolic space one has to address the leaf- and height-level uniformity which are related to properties of trees, whereas in the ambient space of the hyperbolic manifold, these notions translate into imposing an isotropic ring density towards boundaries of Poincar\’e ball. This ring density can be easily imposed by promoting the isotropic feature distribution on the tangent space of manifold. In the experiments, we demonstrate the efficacy of our proposed method across different hyperbolic graph embedding techniques in both supervised and self-supervised learning settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google